בעולם שבו מודלי שפה גדולים (LLMs) משנים את פני עיבוד הטקסט, למידה בהקשר (ICL) מאפשרת להם ללמוד ממספר מועט של דוגמאות ללא אימון מחדש. עם זאת, אחת הבעיות המרכזיות היא בחירת הדוגמאות הטובות ביותר להדגמה. מחקר חדש מ-arXiv טוען כי שיטות קיימות, המסתמכות על דמיון סמנטי בלבד לבחירת top-K דוגמאות, מתעלמות מעקביות התוויות, מה שפוגע בביצועים. החוקרים מציעים נקודת מבט חדשה מבוססת על תצפית בסיסית ומבט בייסיאני.
לפי המחקר, ניתן להתייחס ללמידה בהקשר כשיטת למידה טרנסדוקטיבית, שבה דוגמאות דומות מעצבות את המושגים הלטנטיים של השאלה. עקביות תוויות בדוגמאות משמשת כהערכה מדויקת להנחיית התשובה. על בסיס זה, הם מפתחים מסגרת תיאורטית של הפצת תוויות, המקשרת בין עקביות תוויות לגבולות שגיאה בהפצה. הגישה הזו מבוססת על תצפית בייסיאנית, שבה דוגמאות דומות משפיעות על ההסתברות של התווית הנכונה.
כדי ליישם את הרעיון, החוקרים מציעים שיטת סינתזה של נתונים שמשלבת מידע סמנטי ותוויות. השיטה, הנקראת TopK-SD (TopK עם נתוני סינתזה), מייצרת דוגמאות סינתטיות בעלות עקביות תוויות גבוהה יותר. בבדיקות על סטי קנה מידה מרובים, TopK-SD עלתה על שיטת TopK המקורית, והדגימה שיפור משמעותי בביצועי משימות NLP שונות.
המשמעות של המחקר הזה גדולה לעולם ה-AI המעשי. מנהלי טכנולוגיה בישראל, שמשתמשים במודלי שפה גדולים ליישומים עסקיים כמו ניתוח טקסט או צ'טבוטים, יכולים לשפר את הדיוק על ידי שילוב עקביות תוויות בבחירת פרומפטים. בהשוואה לשיטות קיימות כמו RAG, הגישה הזו מתמקדת בשיפור פנימי של ICL ללא צורך במודלים נוספים.
המחקר פותח אפיקים חדשים להבנת מנגנוני הלמידה בהקשר ומציע כלים פרקטיים לשיפור ביצועים. עבור עסקים ישראליים המפתחים פתרונות AI, כדאי לבחון את TopK-SD כחלק מאסטרטגיית הפרומפטינג. האם עקביות תוויות תהפוך לסטנדרט בבחירת דוגמאות? המחקר הזה מצביע על כך.