Policy of Thoughts: שיטה חדשה משפרת חשיבה ב-LLM

בעידן שבו מודלי שפה גדולים (LLM) שולטים בשוק ה-AI, הם עדיין נכשלים במשימות חשיבה מורכבות ארוכות טווח. מדוע? בגלל הנחת ה'מדיניות קפואה' שמגבילה אותם. חוקרים מציגים את Policy of Thoughts (PoT), מסגרת חדשנית שמשנה את חוקי המשחק בכך שהיא מאפשרת אבולוציה בזמן אמת של מדיניות החשיבה של המודל. השראתה: אפיסטמולוגיית 'השערות והפרכות' של פופר. PoT הופכת משוב ביצוע למנוע למידה פנימי, ומבטיחה שיפור דרמטי בביצועים. PoT פועלת כתהליך אופטימיזציה מקוון בתוך כל משימה בודדת. ראשית, היא מייצרת פתרונות מועמדים מגוונים באמצעות מנגנון חקירה יעיל. לאחר מכן, היא משתמשת ב-Group Relative Policy Optimization (GRPO) כדי לעדכן מתאם LoRA זמני על סמך משוב ביצוע. עיצוב לולאת משוב סגורה זה מאפשר חידוד דינמי וממוקד של הנחות החשיבה של המודל. לפי הדיווח, שיטה זו מאפשרת למודלים קטנים להתחרות בענקים. בניסויים, מודל בגודל 4 מיליארד פרמטרים השיג 49.71% דיוק ב-LiveCodeBench – תוצאה שמעל GPT-4o ו-DeepSeek-V3, למרות שהוא קטן מהם פי 50 ומעלה. החוקרים מדגישים כי PoT לא דורשת אימון מחדש כבד, אלא רק התאמה זמנית בזמן בדיקה. זהו קפיצת מדרגה לעומת שיטות קודמות שרק מסננות או כותבות מחדש מסלולים על סמך משוב חיצוני. המשמעות של PoT גדולה במיוחד עבור עסקים ישראליים בתחום ה-AI. חברות כמו Mobileye או Wix יכולות ליישם אותה כדי לשפר יישומי קוד וניתוח נתונים בזמן אמת, ללא צורך במודלים ענקיים יקרים. בהשוואה לשיטות מסורתיות, PoT מציעה גמישות ומדרגיות, ומאפשרת התאמה אישית למשימות ספציפיות. זה פותח דלתות ליישומים מקומיים בתעשייה, רפואה ופיננסים. PoT מדגימה כיצד אינטליגנציה דורשת אבולוציה רציפה. עבור מנהלי טכנולוגיה, השאלה היא: האם תשלבו אופטימיזציה דינמית בפיתוחי AI הבאים? קראו את המאמר המלא ב-arXiv כדי להתחיל ליישם.