בעידן שבו סוכני דגמי שפה גדולים (LLM) מפגינים יכולות חברתיות מתקדמות כמו שיתוף פעולה, הטעיה והתחברות, עולה הצורך בבדיקה שיטתית. אולם, בנצ'מרקים קיימים מתמקדים לעיתים קרובות בממד יכולת בודד או בתוצאות התנהגותיות בלבד, ומתעלמים ממידע עשיר מתהליכי קבלת ההחלטות והאינטראקציות התקשורתיות. כדי לגשר על הפער הזה, חוקרים מציגים את M3-Bench – בנצ'מרק רב-שלבי למשחקים בעלי מניעים מעורבים, יחד עם מסגרת הערכה מודעת-תהליך שמנתחת באופן סינרגטי שלושה מודולים: BTA (ניתוח מסלול התנהגותי), RPA (ניתוח תהליך החשיבה) ו-CCA (ניתוח תוכן תקשורתי).
M3-Bench בנוי כסדרת משחקים מעורבים שדורשים מהסוכנים לנווט בין אינטרסים אישיים וקבוצתיים, תוך חשיפת התנהגויות חברתיות מורכבות. המסגרת החדשה משלבת ניתוח מעמיק של מסלולי ההתנהגות (BTA), שמעקב אחר רצפי פעולות; ניתוח תהליכי החשיבה (RPA), שבודק את הלוגיקה הפנימית מאחורי ההחלטות; וננתוח תקשורת (CCA), שחוקר את התוכן והאסטרטגיות בשיחות בין הסוכנים. לפי הדיווח, גישה זו מאפשרת הערכה הוליסטית מעבר לציונים פשוטים או תוצאות משימה.
החידוש המרכזי הוא שילוב מודל חמשת הגורמים האישיות (Big Five) ותיאוריית ההחלפה החברתית (Social Exchange Theory) לאגרגציה של ראיות רב-ממדיות. כך נוצרים 'דיוקנאות התנהגות חברתית' פרשניים, המאפיינים תכונות אישיות ופרופילי יכולות של הסוכנים. ניסויים מראים כי M3-Bench מבחין באופן אמין בין מודלים שונים, וחושף כי חלק מהמודלים משיגים תוצאות התנהגותיות סבירות לכאורה, אך מציגים סתירות בולטות בחשיבה ובתקשורת שלהם.
לעומת בנצ'מרקים קודמים כמו אלה המתמקדים בתוצאות בלבד, M3-Bench מספק תובנות עמוקות יותר על 'השחור מתחת לפני השטח' – התהליכים הפנימיים שמניעים התנהגויות. זה רלוונטי במיוחד למפתחי AI בישראל, שמתמודדים עם פריסה של סוכנים אוטונומיים בעסקאות עסקיות או משא ומתן, שם הטעיה או חוסר עקביות עלולים לגרום להפסדים כספיים.
עבור מנהלי עסקים וטכנולוגים, M3-Bench מצביע על הצורך לבחון לא רק ביצועים חיצוניים אלא גם עקביות פנימית. כיצד זה ישפיע על פיתוח סוכני LLM הבאים? האם נראה שיפורים בתהליכי החשיבה? הבנצ'מרק הזה פותח דלת לתכנון AI אמין יותר, שמתאים לסביבות חברתיות מורכבות.