בעידן שבו סוכנים אוטונומיים מבוססי AI אמורים להחליף עובדים אנושיים במשימות מורכבות, מחקר חדש חושף כיצד דגמי שפה גדולים (LLM) נכשלים דווקא בסצנות אג'נטיות. החוקרים ניתחו 900 מסלולי ביצוע באמצעות בנצ'מרק KAMI v0.1, ובדקו דגמים כמו Granite 4 Small, Llama 4 Maverick ו-DeepSeek V3.1 במשימות כמו ניהול קבצים, חילוץ טקסט, ניתוח CSV ושאילתות SQL. התוצאות מצביעות על כך שגודל הדגם לבדו אינו מבטיח הצלחה, ומדגישות את הצורך בשיפורים ספציפיים.
הניתוח המפורט חושף כי Llama 4 Maverick (400B פרמטרים) מצליח רק במעט יותר מ-Granite 4 Small (32B) במשימות הכרוכות בחוסר ודאות, בעוד DeepSeek V3.1 מציג אמינות גבוהה יותר הודות ללמידת חיזוק לאחר האימון (RL). החוקרים מדווחים על ארבעה ארכיטיפים מרכזיים של כשל: פעולה מוקדמת ללא עיגון בנתונים, נדיבות יתר שממלאת חסרים בנתונים, זיהום הקשר על ידי הסחות דעת, וביצוע שביר תחת עומס. דפוסים אלה פוגעים באופן שיטתי ביכולת הסוכנים לבצע רצפי פעולות מרובות.
במקום להתמקד בציונים כוללים, המחקר מתמקד בהתנהגויות ספציפיות בכל ניסוי. לדוגמה, דגמים נוטים לפעול ללא אימות מספיק, מה שמוביל לשגיאות בשרשרת. בנוסף, 'על-נדיבות' גורמת להמצאת ישויות חסרות, בעוד הסחות דעת מזהמות את ההקשר ומקשות על התאוששות. תחת עומס, הביצועים מתדרדרים במהירות, מה שמעלה שאלות על כשירותם ליישומים ארגוניים.
הממצאים מדגישים כי אמינות סוכנית אינה תלויה רק בגודל הדגם או בארכיטקטורה, אלא בשיטות אימון מכוונות כמו למידת חיזוק. בהשוואה לדגמים אחרים, DeepSeek V3.1 מצטיין בזכות אימון פוסט-אימון, מה שמאפשר לו להתמודד טוב יותר עם אתגרים אמיתיים. עבור עסקים ישראלים המפתחים מערכות AI, זה אומר שיש להתמקד באימון ספציפי לאינטראקציות עם כלים, ולא רק בשיפור כוח חישוב.
כדי להבטיח פריסה ארגונית אמינה, יש לפתח שיטות הערכה שמתמקדות בעיגון אינטראקטיבי, התאוששות משגיאות והסתגלות לסביבה. המחקר קורא לבחירות עיצוביות שמחזקות אימות, גילוי מגבלות והקפדה על נתוני אמת. מנהלי טכנולוגיה בישראל צריכים לשקול זאת בפיתוח סוכנים פנימיים – האם הדגם שלכם עמיד בפני כשלים אלה?