בעידן שבו סוכנים אוטונומיים מבוססי דגמי שפה גדולים רב-מודליים (MLMs) משתלטים על תחומי החינוך, עולה השאלה: כיצד הם מתמודדים עם משימות חוצות פלטפורמות בתוכנות ספציפיות לבתי ספר? חוקרים מציגים את KGCE – פלטפורמת בדיקה חדשנית שמתמודדת עם החסרונות של בנצ'מרקים קיימים, במיוחד בתוכנות פרטיות כמו XiaoYa Intelligent Assistant ו-HuaShi XiaZi, שבהן יעילות הסוכנים יורדת דרמטית.
KGCE, ראשי תיבות של Knowledge-Augmented Dual-Graph Evaluator for Cross-Platform Educational Agent Benchmarking with Multimodal Language Models, בונה מערך משימות הכולל 104 משימות חינוכיות הקשורות ל-Windows, אנדרואיד ומשימות שיתופיות חוצות פלטפורמות. הפלטפורמה פותרת בעיות מדידה גסות כמו התאמת מסלולים או התמצאות במטרות, באמצעות מסגרת גרף כפול שמפרקת משימות לתת-מטרות ומאמתת את השלמתן, ומספקת מדדים מפורטים לביצועים.
כדי להתגבר על צווארי בקבוק בביצוע משימות בתוכנות פרטיות, פותחה מערכת סוכן משופרת המשלבת בסיס ידע ספציפי לתוכנות בתי ספר. הדיווח מציין כי בנצ'מרקים קיימים סובלים מחוסר הבנה במבנה התוכנות הללו, מה שמוביל לירידה משמעותית ביעילות. KGCE משלבת שיפור בסיס ידע זה עם מסגרת ההערכה הכפולה.
המשמעות של KGCE גדולה במיוחד עבור חברות אדטק ישראליות המפתחות פתרונות AI לחינוך. בעוד ששוק החינוך העולמי מאמץ סוכנים אוטונומיים, הפלטפורמה מאפשרת בדיקה מדויקת של יכולות חוצות פלטפורמות, כולל שיתוף פעולה בין Windows לאנדרואיד. זה עשוי להאיץ פיתוח סוכנים יעילים יותר בתוכנות מקומיות ובינלאומיות.
לסיכום, KGCE מציעה כלי חיוני לקידום סוכני AI בחינוך. הקוד זמין בגיטהאב, ומזמין חוקרים ומפתחים לבחון ולשפר. מה תהיה ההשפעה על עתיד הלמידה הדיגיטלית?