בעידן שבו מודלי שפה גדולים מניעים חדשנות עסקית, הבעיית ההזיות נותרת אתגר מרכזי אפילו במודלים המובילים בעולם. למה, למרות ניסיונות רבים מאז ראשית מודלי השפה הנוירונליים, ההזיות לא נעלמות? מאמר חדש שפורסם ב-arXiv מציג הגדרה מאוחדת להזיות ומסביר כי ביסודן מדובר בדגימת עולם פנימית לא מדויקת, שמתבטאת באופן גלוי למשתמש – כמו טענה סותרת בסיס ידע או סיכום מנוגד למקור ידוע.
המאמר סוקר הגדרות היסטוריות של הזיות בספרות ומאחד אותן להגדרה אחת. הגדרות קודמות התמקדו בהיבטים שונים, אך כולן מתכנסות לליבה: מודל עולם פנימי שגוי. על ידי שינוי 'דגימת העולם' המרכזית (כמו בסיס ידע לעומת הקשר טקסטואלי) ומדיניות התנגשות ידע, נוצרות ההגדרות השונות הקיימות. הגישה הזו מבהירה מה נחשב הזיה (ולא טעות תכנון או תמריצים), ומספקת שפה משותפת להשוואת בנצ'מרקים ושיטות טיפול.
המאמר טוען כי תצוגה מאוחדת זו שימושית במיוחד לבחינות: היא מחייבת להבהיר את 'העולם' הנכון כמקור אמת, ומבדילה הזיות מטעויות אחרות. בהתבסס על כך, המחברים מתווה משפחת בנצ'מרקים חדשים. בבנצ'מרקים אלה, הזיות יוגדרו כחוסר התאמה לדגימות עולם סינתטיות מלאות בסביבות שונות, מה שיאפשר לבחון ולשפר את רכיבי דגימת העולם במודלי השפה.
המשמעות העסקית של ההגדרה הזו עצומה. חברות ישראליות המפתחות יישומי AI, כמו צ'טבוטים או כלי ניתוח נתונים, נתקלות בהזיות שפוגעות באמינות. הגדרה מאוחדת מאפשרת פיתוח בנצ'מרקים מדויקים יותר, שיבדקו את המודלים בסביבות ריאליסטיות. בישראל, שבה AI הופך לכלי מרכזי בעסקים, שיפור דגימת העולם יקטין סיכונים ויאיץ אימוץ טכנולוגיות.
לסיכום, ההזיות הן לא באג מקרי אלא תוצאה של דגימת עולם לקויה. מנהלי טכנולוגיה צריכים לדרוש מבנצ'מרקים חדשים כאלה כדי להבטיח מודלים אמינים יותר. האם הגיע הזמן לשנות את הגישה שלכם לבדיקת AI? קראו את המאמר המלא ב-arXiv כדי להעמיק.