בעולם שבו דגמי שפה גדולים (LLM) משפרים יכולות חשיבה מורכבת דרך הרחבת זמן בדיקה, עולה השאלה: האם השיפורים נובעים מחשיבה אמיתית או רק מריבוי מילים? חוקרים מציגים את ReEfBench – מסגרת נוירו-סימבולית חדשנית לבחינה מקיפה ולא פולשנית של תהליכי חשיבה. הכלי מאפשר הערכה מדויקת של יעילות החשיבה, ללא צורך בשינויים במודל עצמו. לפי הדיווח, המסגרת חושפת ארבעה אבות-טיפוס התנהגותיים שונים ומאבחנת כשלי חשיבה מרכזיים. זהו צעד משמעותי להבנת מגבלות ה-CoT (שרשרת מחשבה) הנוכחית.
ReEfBench בוחנת את השפעת מצבי הסקה, אסטרטגיות אימון וגודל המודל על ביצועי החשיבה. החוקרים גילו כי יצירת טוקנים ארוכה אינה תנאי הכרחי לחשיבה עמוקה. במקום זאת, הם מזהים מגבלות קריטיות: שילוב נתוני CoT ארוכים וקצרים באימון עלול לגרום לשביעות רצון מוקדמת וקריסה בביצועים. בנוסף, זיקוק (distillation) למודלים קטנים יותר משמר אורך התנהגותי אך נכשל בשכפול יעילות לוגית עקב מגבלות קיבולת פנימיות. ממצאים אלה מאתגרים הנחות מקובלות בתחום.
המסגרת החדשה משלבת גישות נוירונליות וסימבוליות כדי לנתח את תהליך החשיבה של LLM בצורה מקיפה. היא מאפשרת זיהוי דפוסי התנהגות כמו חשיבה יעילה, ריבוי מיותר או כשלים לוגיים. החוקרים בדקו מודלים בגדלים שונים ומצאו כי גודל המודל משפיע על היכולת להתמודד עם משימות מורכבות, אך לא תמיד באופן ליניארי. זה מדגיש את הצורך בכלים מתקדמים יותר מעבר לבחינת תוצאות סופיות.
לעסקים ישראליים המאמצים AI, ReEfBench מציעה כלי לבחון האם השקעות במודלים גדולים מניבות חשיבה אמיתית או רק טקסט ארוך. בהשוואה למבחנים מסורתיים, היא מתמקדת בתהליך ולא בתוצאה, מה שרלוונטי לחברות כמו Mobileye או Wix המשלבות LLM בפיתוח. הממצאים מצביעים על סיכונים באימון מעורב, מה שדורש התאמות באסטרטגיות פיתוח.
המסקנה: ReEfBench מדגישה כי יעילות חשיבה דורשת איזון בין אורך להיגיון. מנהלי טכנולוגיה צריכים לשקול כלים כאלה כדי למקסם תשואה מהשקעות ב-AI. מה תהיה ההשפעה על הדור הבא של מודלי שפה?