דגמי TRM על ARC-AGI-1: הטיות, תנאי זהות וחישוב בזמן בדיקה

בעידן שבו דגמי שפה גדולים שורפים משאבים אדירים, מציעים דגמי TRM (Tiny Recursive Models) אלטרנטיבה חסכונית לפתרון משימות ARC – משימות חשיבה מופשטת וטיעון שדורשות יכולות קוגניטיביות מתקדמות. מחקר חדש ב-arXiv בוחן את ביצועי TRM על ARC-AGI-1 ומגלה תובנות מפתיעות על המנגנונים שמאחורי ההצלחה. האם מדובר בארכיטקטורה מהפכנית או בשילוב של טכניקות אופטימיזציה? המחקר מדווח על שיפור משמעותי של 11 נקודות אחוז ב-Pass@1 בזכות הצבעה רובית על 1,000 דגימות. הניתוח הראשון חושף כי אג'mנטציה בזמן בדיקה והרכבת הצבעה רובית מהווה חלק ניכר מהביצועים. ללא 1,000 דגימות הצבעה, הביצועים יורדים ב-11 נקודות אחוז בהשוואה להסקה קנונית חד-פעמית. בנוסף, איפול זהות חידה מראה תלות קשיחה בזהות המשימה: החלפת מזהה החידה הנכון באפס או טוקן אקראי מובילה לדיוק אפסי. תוצאות אלה מצביעות על כך שהמודל מסתמך מאוד על מידע ספציפי למשימה ולא רק על חשיבה כללית. ניתוח מסלול רקורסיה חושף כי רוב הדיוק הסופי מושג כבר בצעד הרקורסיה הראשון, והביצועים נצברים לאחר מעט עדכוני פוטנציאל סמוי בלבד. זה מעיד על רקורסיה שטחית יחסית ולא על תהליך חשיבה עמוק וממושך כפי שנטען במקור. ניסויים בשלבים מוקדמים של אימון מראים כי אג'mנטציה כבדה מרחיבה את פיזור פתרונות המועמדים ומשפרת הצלחה רב-דגימית, מה שמדגיש את תפקידה בהכשרת המודל. בהשוואת יעילות, TRM עדיף על פיין-טיונינג QLoRA של Llama 3 8B על ARC-AGI-1 הקנוני: הוא משיג תפוקה גבוהה בהרבה ושימוש זיכרון נמוך משמעותית. העיצוב הלא-אוטורגרסיבי מאפשר יעילות גבוהה יותר בסביבה זו. תוצאות אלה מצביעות על כך שביצועי TRM נובעים משילוב של יעילות, תנאי משימה ספציפיים וחישוב אגרסיבי בזמן בדיקה, ולאו דווקא מחשיבה פנימית עמוקה. למנהלי עסקים ישראלים בתחום הבינה המלאכותית, TRM מציע גישה חסכונית לפתרון בעיות ARC-סטייל, אך יש לשקול את התלות בהכנה ספציפית. האם זה צעד לקראת AI חכם יותר או רק אופטימיזציה חכמה? בדקו את המחקר המלא כדי להעריך אם כדאי לשלב בפרויקטים שלכם.