סוכני שפה גדולים (LLM) שמשתמשים בכלים חיצוניים מצליחים לפתור משימות מורכבות, אך קשה להבין אילו כלים תרמו באמת לתשובה. זו נקודת עיוורון קריטית בפיתוח ובאמון בטכנולוגיה. עכשיו, חוקרים מציגים את AgentSHAP – המסגרת הראשונה להסבר חשיבות כלים ברמת הכלי בסוכני LLM. השיטה model-agnostic: היא מתייחסת לסוכן כקופסה שחורה ועובדת עם כל מודל LLM כמו GPT, Claude או Llama, ללא צורך בגישה למשקלים פנימיים או גרדיאנטים. AgentSHAP משתמשת בערכי שפלי (Shapley values) מטורת המשחקים, ומבצעת בדיקות באמצעות Monte Carlo כדי לחשב ציוני חשיבות הוגנים.
AgentSHAP פותרת בעיה מרכזית: שיטות XAI קיימות לא מטפלות בהסברים ברמת הכלים. השיטה מבצעת דגימות Monte Carlo כדי לבדוק כיצד הסוכן מגיב עם תת-קבוצות שונות של כלים, ומחשבת ציוני חשיבות מדויקים. התרומות העיקריות: (1) שיטת הסבריות ראשונה לאתגר כלים בסוכנים, מבוססת Shapley values; (2) דגימה יעילה שמפחיתה עלויות מחישובים אקספוננציאליים (O(2^n)) לרמות מעשיות; (3) ניסויים מקיפים על API-Bank שמראים עקביות בציונים בין ריצות, זיהוי נכון של כלים רלוונטיים לעומת לא רלוונטיים.
השיטה משלימה את TokenSHAP (להסברי טוקנים) ו-PixelSHAP (לאזורי תמונה), ויוצרת משפחה של כלי XAI מבוססי Shapley ל-AI גנרטיבי מודרני. בניסויים, AgentSHAP הצליחה להבדיל בין כלים חיוניים ללא רלוונטיים, וסיפקה ציונים יציבים – תוצאות שמאפשרות אופטימיזציה של סוכנים.
לעסקים ישראלים המפתחים סוכני AI, AgentSHAP מציעה דרך לבדוק יעילות כלים חיצוניים כמו API-ים מקומיים או שירותי ענן. זה חיוני לבניית אמון, הפחתת עלויות ולקיחת החלטות מבוססות נתונים. השיטה פתוחה לקוד ב-GitHub, מה שמאפשר אימוץ מהיר.
AgentSHAP מסמנת צעד קדימה בהסבריות AI, ומאפשרת למפתחים לשפר סוכנים ביעילות. האם זה ישנה את הדרך שבה אנו בונים מערכות AI ארגוניות? קוד זמין כאן: https://github.com/GenAISHAP/TokenSHAP.