התקפות שיחה רב-תוריות חושפות פרצות בדגמי AI מובילים
מחקר

התקפות שיחה רב-תוריות חושפות פרצות בדגמי AI מובילים

מחקר חדש מפתח כלי אוטומטי לייצור התקפות ג'יילברייק ומגלה הבדלים דרמטיים בעמידות מודלים כמו GPT ו-Gemini

3 דקות קריאה

תקציר מנהלים

נקודות עיקריות

  • צינור אוטומטי יצר 1,500 תרחישי ג'יילברייק מבוססי FITD

  • דגמי GPT: ASR עולה ב-32% עם היסטוריית שיחה

  • Gemini 2.5 Flash כמעט חסין להתקפות

  • Claude 3 Haiku עמיד חלקית

  • צורך דחוף בהגנות נגד מניפולציה נרטיבית

התקפות שיחה רב-תוריות חושפות פרצות בדגמי AI מובילים

  • צינור אוטומטי יצר 1,500 תרחישי ג'יילברייק מבוססי FITD
  • דגמי GPT: ASR עולה ב-32% עם היסטוריית שיחה
  • Gemini 2.5 Flash כמעט חסין להתקפות
  • Claude 3 Haiku עמיד חלקית
  • צורך דחוף בהגנות נגד מניפולציה נרטיבית
בעידן שבו דגמי שפה גדולים (LLMs) מניעים עסקים בכל תחום, התקפות שיחה רב-תוריות המבוססות על עקרונות פסיכולוגיים כמו טכניקת 'רגל בכדור' (Foot-in-the-Door - FITD) מאיימות לעקוף את מנגנוני הביטחון שלהם. מחקר חדש שפורסם ב-arXiv מציג צינור אוטומטי לייצור דאטהסטים גדולים של התקפות כאלה, ומגלה פערים משמעותיים בעמידות הדגמים המובילים. החוקרים הפכו את טכניקת FITD – שבה בקשה קטנה ראשונית פותחת את הדלת לבקשה גדולה יותר – לתבניות רפרודוקטיביות, ויצרו בנצ'מרק של 1,500 תרחישים סביב פעילויות בלתי חוקיות ותכנים פוגעניים. המחקר בדק שבעה דגמים משלוש משפחות מרכזיות: משפחת GPT, Gemini של גוגל ו-Claude של Anthropic. הבדיקות נערכו בשני מצבים: שיחה רב-תורית (עם היסטוריית שיחה) ובודדת (ללא היסטוריה). התוצאות חושפות הבדלים חדים בעמידות לקונטקסט: דגמי משפחת GPT מראים פגיעות משמעותית להיסטוריית שיחה, כאשר שיעור ההצלחה של ההתקפות (ASR) עולה עד 32 נקודות אחוז. לעומת זאת, Gemini 2.5 Flash של גוגל מתגלה כעמיד במיוחד, כמעט חסין להתקפות אלה. Claude 3 Haiku של Anthropic מציג עמידות חזקה אך לא מושלמת. הממצאים מדגישים כיצד ארכיטקטורות ביטחון שונות מתמודדות עם קונטקסט שיחתי, ומצביעים על הצורך בהגנות חדשות נגד מניפולציה נרטיבית. עד כה, יצירת דאטהסטים כאלה הסתמכה על עבודה ידנית קשה להרחבה, מה שהאט את ההתקדמות בהגנה מפני התקפות שיחה רב-תוריות. למנהלי עסקים ישראלים השולטים בכלי AI, התוצאות הללו רלוונטיות במיוחד. פרצות כאלה עלולות להוביל לדליפות מידע רגיש או תגובות לא רצויות במערכות צ'אטבוטים. חברות כמו אינטל וגוגל ישראל, הפעילות בתחום, צריכות לשקול שילוב בדיקות כאלה בפיתוח. ההפרש בין דגמים מדגיש את החשיבות בבחירת ספקי AI עם עמידות מוכחת. המחקר קורא לפיתוח הגנות שמתמודדות עם מניפולציה מבוססת סיפור. מה תעשו כדי לבדוק את עמידות דגמי ה-AI שלכם? קראו את המאמר המלא והתחילו לבחון את הכלים שלכם היום.

שאלות ותשובות

שאלות נפוצות

אהבתם את הכתבה?

הירשמו לניוזלטר שלנו וקבלו עדכונים חמים מעולם ה-AI ישירות למייל

המידע שתמסור ישמש ליצירת קשר ומתן שירותים. למידע נוסף ראה מדיניות פרטיות ותנאי שימוש

עוד כתבות שיעניינו אותך

לכל הכתבות
זיהוי עמימות הוראות 3D: פריצת דרך בבטיחות AI
מחקר
2 דקות

זיהוי עמימות הוראות 3D: פריצת דרך בבטיחות AI

החוקרים בנו את Ambi3D, מאגר הנתונים הגדול ביותר למשימה זו עם למעלה מ-700 סצנות 3D מגוונות וכ-22 אלף הוראות. ניתוח מראה שמודלי שפה גדולים 3D מתקדמים נכשלים בזיהוי אמין של עמימות. כדי להתמודד עם האתגר, הם מציעים את AmbiVer – מסגרת דו-שלבית שאוספת ראיות חזותיות ממספר זוויות ומנחה מודל שפה-ראייה לשיפוט העמימות. ניסויים מקיפים מוכיחים את יעילות AmbiVer ומדגישים את קושי המשימה.

Ambi3DAmbiVerarXiv
קרא עוד