בעידן שבו מודלי שפה גדולים (LLM) שולטים במגוון משימות, החשיבה המתמטית נותרת אתגר גדול. למידה בהקשר (ICL) הוכיחה יעילות, אך גישות קיימות סובלות מדגמות סטטיות שאינן מתאימות לנקודות בלבול דינמיות כמו חישובים מעורפלים או פערים לוגיים. מחקר חדש מציג את Process In-Context Learning (PICL), שיטה דינמית שמשפרת חשיבה מתמטית על ידי התאמה בזמן אמת. השיטה פותרת שגיאות מצטברות ומבטיחה דיוק גבוה יותר.
PICL פועלת בשני שלבים עיקריים. בשלב הראשון, היא מזהה נקודות בלבול פוטנציאליות על ידי ניתוח סמנטי ואנטרופיה בתהליך החשיבה. נקודות אלה מסוכמות עם מאפיינים מרכזיים. בשלב השני, בעת התקלות בנקודת בלבול, השיטה שולפת דוגמאות רלוונטיות מאגר הדגמות ומשלבת אותן ישירות בתהליך החשיבה ההמשכי. כך, PICL מנחה צעדים עתידיים ומפחיתה שגיאות.
לפי הדיווח, ניסויים הראו כי PICL עולה על שיטות בסיסיות בכך שהיא ממזערת בלבול באמצע התהליך. השיפור נובע מהשילוב הדינמי של דגמות, שמתאים בדיוק להקשר הספציפי. זהו צעד משמעותי בתחום הלמידה בהקשר, במיוחד למשימות הדורשות ניתוח לוגי רב-שלבי כמו פתרון בעיות מתמטיות מורכבות.
השיטה מדגישה את החשיבות של התאמה דינמית במודלי AI. בהשוואה לגישות סטטיות, PICL מאפשרת התמודדות טובה יותר עם אתגרים בזמן אמת, מה שרלוונטי לעסקים ישראליים בפינטק ובסייבר שמשתמשים ב-AI לחישובים מדויקים. היא פותחת אפשרויות לשיפור כלים אוטומטיים.
למנהלי עסקים, PICL מצביעה על הצורך באלגוריתמים אדפטיביים. בעתיד, שילוב כזה עשוי להפוך למודל סטנדרטי במודלי שפה. כיצד תיישמו זאת בפרויקטי AI שלכם?