האם מודלי שפה גדולים (LLMs) יכולים לפתור בעיות מתמטיות מורכבות באופן אמין? זו שאלה קריטית ליישומים בחינוך, מדע והנדסה. חוקרים חדשים מציגים את IIPC – Iteratively Improved Program Construction – שיטה חדשנית שמתקנת את חולשותיהם של מערכות רב-סוכניות מבוססות LLM. לפי המחקר, שיטות קיימות תקועות בצינורות רציפים נוקשים או מסתמכות על הערכה עצמית שיטתית שכושלת. IIPC משנה את חוקי המשחק עם שיפור איטרטיבי של שרשראות תוכנה ומשוב ביצוע ישיר.
מערכות LLM מרובות סוכנים שיפרו לאחרונה את יכולות ההיגיון המתמטי, אך חסרות ייצוג ניתן לתיקון של תהליך החשיבה. סוכנים קיימים פועלים בצנרת רציפה קשיחה שאינה מאפשרת תיקון שלבים מוקדמים, או משתמשים בהערכה עצמית cliffordנית שמזהה שגיאות באופן לא אמין. בנוסף, הקשר תוכני מפריע למודלים ומפחית דיוק. המחקר מדגיש כי IIPC פותרת זאת על ידי שילוב משוב ביצוע עם יכולות שרשרת-המחשבה הטבעיות של ה-LLM הבסיסי, תוך שמירה על מיקוד הקשרי גבוה.
IIPC בונה שרשראות תוכנה באופן איטרטיבי ומשפרת אותן בהדרגה. היא משלבת פידבק מביצוע התוכנית עם חשיבה רציפה (Chain-of-Thought) של המודל הבסיסי. כך, השיטה שומרת על דיוק גבוה ומתקנת שגיאות ביעילות. לפי הדיווח, IIPC עולה על גישות מתחרות ברוב בנצ'מרקי ההיגיון על פני מספר מודלי LLM בסיסיים שונים. כל הקוד והיישומים זמינים כקוד פתוח.
משמעות השיטה עצומה: היא מאפשרת יישומים אמינים יותר בחינוך, כמו מערכות למידה אישית, במדע ובנדסה שדורשות היגיון סימבולי מדויק. בהשוואה למתחרים, IIPC מציעה גמישות ודיוק גבוהים יותר, ללא הסחות מהקשר תוכני. בישראל, שבה AI הופך למרכזי בכלכלה, שיטה זו יכולה לשדרג כלים מקומיים לפיתוח תוכנה וניתוח נתונים מתמטי.
עבור מנהלי עסקים ומפתחים, IIPC פותחת דלתות לאוטומציה מתקדמת של משימות מתמטיות מורכבות. עם קוד פתוח, ניתן להתחיל ליישם מיד. השאלה היא: האם תהפוך את ה-LLMs שלכם למתמטיקאים אמינים? קראו את המחקר המלא ב-arXiv.