בעידן שבו נתונים איכותיים הם מצרך נדיר בעולם הבינה המלאכותית, מחקר חדש ב-arXiv בוחן את עמידותם של מודלים הסתברותיים מודרניים לנתונים פגומים. התוצאות מצביעות על ספקטרום רחב של עמידות: מודלי שפה אוטורגרסיביים, החל מחיזוי טוקנים ועד למשימות רצף-לרצף, מתגלים כעמידים במיוחד. לדוגמה, ב-GPT-2, אובדן הלוג-סבירות (NLL) על נתוני בדיקה עולה באופן מתון מ-2.87 ל-3.59 למרות שיבוש של 50% מהטוקנים. לעומת זאת, מודלי דיפוזיה מותנים-מחלקה מתדרדרים באופן קטסטרופלי באותם רמות שיבוש, כאשר עקביות בין תמונות לתוויות צונחת ב-56.81% יחסית לבסיס. סיווגנים מראים השפעה בינונית שפוחתת עם גודל הנתונים.
המחקר מבצע השוואה שיטתית ומגלה כי עמידות זו נובעת משני עקרונות מרכזיים. ראשית, עושר המידע המותנה שמגביל את בעיית הלמידה ומכוון אותה. שנית, תכולת המידע המוחלטת בנתוני האימון, המאפשרת לאות מהנתונים הנכונים להתגבר על רעש סטטיסטי. נבחנו מודלים אוטורגרסיביים כמו GPT-2 במשימות שונות, והם שמרו על ביצועים סבירים גם תחת שיבושים כבדים. זה מדגיש את היתרון הטבעי שלהם בלמידה מנתונים רועשים, כפי שקורה בפועל במאגרי נתונים גדולים.
לעומתם, מודלי דיפוזיה, שמייצרים תמונות מטקסט או תוויות, רגישים במיוחד. ירידת עקביות של 56.81% פירושה אובדן כמעט מוחלט של יכולת יצירה מדויקת תחת נתונים פגומים. סיווגנים, כמו רשתות עצביות פשוטות, סובלים פחות ככל שמאגר הנתונים גדל, מה שמצביע על יכולת הסתגלות טובה יותר בקנה מידה גדול. המחקר משלב ניתוחים מתורת המידע, למידת PAC ודינמיקת גרדיאנטים כדי להסביר את הפערים אלה.
משמעות הממצאים לעולם העסקי בישראל רבה: חברות שמשלבות AI באוטומציה חייבות להעריך את סוג המודל בהתאם לאיכות הנתונים הזמינים. מודלי שפה יכולים להתמודד עם נתונים 'מלוכלכים' ממקורות פנימיים, בעוד מודלי דיפוזיה דורשים ניקוי קפדני. בהקשר מקומי, עם פריחת סטארט-אפים בתחום ה-AI, הבנת עמידות זו יכולה למנוע השקעות כושלות במודלים לא מתאימים.
לסיכום, המחקר מדגיש את הצורך בבחירה מושכלת של מודלים על סמך איכות הנתונים. מנהלי טכנולוגיה צריכים לשקול את עושר המידע המותנה ואת כמותו המוחלטת. מה תהיה ההשפעה על פיתוח AI עתידי? קריאה מלאה של המאמר מומלצת.