SABER: שיטה חדשה להערכת סיכוני פריצה במודלי שפה גדולים

בעולם שבו מודלי שפה גדולים (LLM) מניעים עסקים, סיכוני פריצת כלא מהווים איום קריטי. מחקר חדש ב-arXiv חושף כי הערכות בטיחות סטנדרטיות בשימוש חד-פעמי או תקציב נמוך מזלזלות בסיכון אמיתי. תוקפים יכולים להשתמש בדגימה מקבילהית בקנה מידה גדול כדי לחלץ תגובות מזיקות. החוקרים מציעים את SABER – שיטת הערכה מודעת-סקיילינג של סיכון Best-of-N. השיטה משתמשת בחלוקת בטא, קונגוגט של ברנולי, ומספקת חוק סקיילינג אנליטי לחיזוי שיעורי הצלחה גבוהים מדגימות קטנות. SABER מדגמת הצלחות ברמת הדגימה באמצעות חלוקת בטא ומפיקה חוק סקיילינג אנליטי שמאפשר חיזוי אמין של שיעורי הצלחת התקפה (ASR) עבור N גדול מדגימות קטנות. לפי המחקר, באמצעות רק n=100 דגימות, המעריך העוגן של SABER מחזה ASR@1000 עם שגיאה מוחלטת ממוצעת של 1.66%, בהשוואה ל-12.04% של השיטה הבסיסית – שיפור של 86.2% בשגיאת ההערכה. התוצאות חושפות פרופילי סקיילינג סיכון הטרוגניים בין מודלים. בפועל, מודלים שנראים עמידים בהערכות סטנדרטיות עלולים לחוות הגברת סיכון לא ליניארית מהירה תחת לחץ התקפי מקבילי. SABER מספק מתודולוגיה זולה וניתנת להרחבה להערכת בטיחות LLM ריאליסטית. החוקרים מדווחים כי השיטה מאפשרת חיזוי מסוכנת בקלות ובזול, ללא צורך בבדיקות יקרות בקנה מידה גדול. משמעות הדבר לעסקים ישראליים: חברות המשתמשות ב-LLM חייבות לבחון סיכונים מעבר לבדיקות בסיסיות. SABER יכולה לסייע בפיתוח מודלים בטוחים יותר, במיוחד בתחומי פיננסים ובריאות שבהם תגובות מזיקות עלולות לגרום נזק כספי. השיטה מדגישה את הצורך בגישה סטטיסטית מתקדמת לבחינת עמידות. בסיכום, SABER משנה את כללי המשחק בהערכת בטיחות AI. האם העסק שלכם מוכן ללחץ התקפי מקבילי? החוקרים מבטיחים לשחרר קוד ובדיקות עם הפרסום.