בעולם שבו מודלי שפה גדולים כמו ChatGPT מנהלים שיחות מורכבות, הוראה פשוטה כמו 'אל תשתמש במילה X' נכשלת באופן מפתיע ומתמיד. מחקר חדש ב-arXiv חושף לראשונה את המנגנון המדויק מאחורי הכשלים האלה, ומציג מודל מתמטי שמנבא את הסיכוי להפרה. התוצאות מדגישות מתח יסודי בעיצוב הוראות: עצם אזכור המילה האסורה מחזק אותה במקום לדכא. מנהלי עסקים שמשתמשים ב-AI חייבים להבין זאת כדי לשפר פרומפטים.
המחקר מגדיר 'לחץ סמנטי' – מדד כמותי להסתברות הטבעית של המודל לייצר את הטוקן האסור. נמצא קשר לוגיסטי הדוק: הסתברות ההפרה p=σ(-2.40+2.27·P0), על פני 40,000 דגימות. רווחי 95% לב bootstrap מראים שיפוע של [2.21,2.33]. כלומר, ככל שהמודל נוטה מלכתחילה להשתמש במילה, כך גדל הסיכון להפרה למרות ההוראה. זהו מבחן יסודי ליכולת עמידה בהוראות.
באמצעות ניתוח שכבות עם טכניקת logit lens, החוקרים גילו שהאלילות של הוראה שלילית קיימת אך חלשה יותר בכשלים: דיכוי של 5.2% בלבד לעומת 22.8% בהצלחות – אסימטריה פי 4.4. שתי תקלות מרכזיות: 'כשל priming' (87.5% מהמקרים), שבו אזכור המילה מפעיל את הייצוג שלה במקום לדכא; ו'כשל override' (12.5%), שבו רשתות feed-forward בשכבות מאוחרות תורמות +0.39 להסתברות הטוקן – פי 4 יותר מהצלחות.
הניתוח מאשר ששכבות 23-27 אחראיות קזואלית: החלפת הפעלות שלהן הופכת את השפעת האילוץ. זה חושף מתח בעיצוב: שם המילה האסורה יוצר 'בור כבידה סמנטי' שמושך את המודל אליה. בהשוואה להוראות חיוביות, שליליות סובלות מחולשה מובנית, מה שדורש גישות חלופיות כמו פרפרזות או דוגמאות.
עבור מנהלי טכנולוגיה ישראליים, התובנות האלה משמעותיות: בניית אפליקציות AI אמינות דורשת הימנעות מהוראות שליליות ישירות. במקום זאת, השתמשו בפרומפטים חיוביים או כלים מתקדמים כמו fine-tuning. המחקר קורא לשינוי פרדיגמה – מה יהיה הפתרון הבא?