בעידן שבו בינה מלאכותית כותבת סיפורים על תמונות בשניות, תגלית מדאיגה ומסקרנת: היפוך ביט יחיד במשקולות מודל שפה גדול יכול לשנות את המשמעות הסמנטית של התיאור, מבלי לפגוע בשטף הלשוני או התחביר. מחקר חדש, שפורסם ב-arXiv, מציג לראשונה כיצד תקלות חומרתיות קשות לזיהוי הופכות מודלי כתוביות תמונות לפגיעים בצורה ייחודית. החוקרים מדגימים כי הפרעות ברמת הביטים אינן גורמות רק לקריסה או ירידה בדיוק, אלא משנות את הנרטיב שהמודל מספר על העולם.
המחקר בוחן הזרקת תקלות (fault injection) נמוכת רמה למשקולות של מודל שפה גדול המשמש לכתיבת כתוביות לתמונות. בעוד ששיטות קודמות הראו כי היפוך מספר ביטים יכול להרוס מסווגים או להפחית דיוק במשימות לא-גנרטיביות, כאן ההתמקדות היא בהיבטים הסמנטיים והלשוניים של מערכות גנרטיביות. שינוי ביט בודד עלול לשנות את המיפוי של מאפיינים ויזואליים למילים, ולשנות את כל הסיפור. החוקרים משערים כי שינויים סמנטיים כאלה אינם אקראיים, אלא ניתנים להערכה דיפרנציאלית באמצעות גרדיאנטי המודל עצמו.
כדי לבדוק זאת, פותח מסגרת חדשה בשם BLADE – Bit-level Fault Analysis via Differentiable Estimation. המסגרת משתמשת בהערכת רגישות מבוססת גרדיאנטים כדי לאתר ביטים קריטיים מבחינה סמנטית, ולאחר מכן מחדדת את הבחירה באמצעות מטרה סמנטית-שטף ברמת הכתובית. BLADE אינה רק משבשת כתוביות, אלא חושפת כיצד המשמעות מקודדת, מפוזרת ומשתנה ברמת הביטים במודלי ויזואליה-שפה גנרטיביים. לפי הדיווח, שינויים קטנים אלה יכולים להשפיע באופן משמעותי על הפלט הסמנטי הגבוה.
המשמעות של הממצאים רחבה: הם חושפים פגיעויות חדשות במודלי שפה גדולים, במיוחד בתחום כתוביות תמונות המשלב ויזואליה ושפה. בהשוואה לשיטות קודמות, BLADE מדגישה כי תקלות מבניות ברמת הביטים יכולות לעצב מחדש את הפלט הסמנטי. בישראל, שבה חברות כמו Mobileye ו-Wiz משקיעות רבות בבינה מלאכותית, תובנות כאלה חיוניות לבניית מערכות עמידות. המחקר פותח דרכים לבדיקות עמידות, הגנות נגד יריבים והסבריות AI.
המסקנה ברורה: גם שינויים בלתי נראים ברמת החומרה יכולים להטות את המשמעות הגבוהה של מודלים גנרטיביים. מנהלי עסקים בתחום הטכנולוגיה צריכים לשקול כיצד לבדוק ולחזק את המודלים שלהם מפני תקלות כאלה. מה אם ביט אחד משנה את ההחלטה העסקית שלכם?