בעולם שבו חברות עסקיות משקיעות מיליארדים בפיתוח סוכני AI, השאלה המרכזית היא: איך בודקים באמת את יכולותיהם? מחקר חדש שפורסם ב-arXiv טוען כי מתמטיקה וקידוד משמשים כבנצ'מרקים אוניברסליים בתוך מרחב המודולים של סוללות מבחנים פסיכומטריים לסוכני AI. לפי החוקרים, המשימות הללו יוצרות תת-מרחב צפוף בכל מרחב ההערכה האפשרי, ומאפשרות בדיקה אמינה ומדויקת יותר מכל מבחן אחר.
המחקר בונה על מסגרת ה-AAI ודינמיקות GVU מעבודות קודמות, ומגדיר את 'הסיב המתמטי' – מבנה מיוחד במרחב הבדיקות. כאשר משלבים אותו עם ליבות הוכחה פורמליות כמו Lean או Coq, זרימות ה-GVU על הסיב הזה מאפשרות משטרים יציבים ספקטרלית של שיפור עצמי. כלומר, הסוכנים יכולים לשפר את עצמם באופן אוטומטי ומבוקר, בדומה ל'אורקל' של אימות. זהו צעד משמעותי לקראת AI מתקדם שמתפתח ללא פיקוח אנושי מתמיד.
תוצאת הטכנית המרכזית היא משפט צפיפות: תחת תנאי הדוקות אחידה של פלטי הסוכנים ופונקציונל AAI ליפשיץ, התת-מרחב שנוצר ממשימות הוכחת משפטים מתמטיים ומשימות קידוד צפוף במרחב המודולים של סוללות המבחנים, ביחס למדד ההערכה. קידוד לבדו אוניברסלי מבחינה זו, בעוד מתמטיקה טהורה אינה – יתרונה ספקטרלי ולא ביטויי. החוקרים מדגישים כי קידוד לבד מספיק לכיסוי מלא של מרחב הבדיקות.
המשמעות העסקית ברורה: במקום להסתמך על מבחנים סטנדרטיים כמו שאלות טקסטואליות או משחקים, מנהלי טכנולוגיה בישראל ובחו"ל יכולים להתמקד במתמטיקה וקידוד כדי להעריך סוכני AI באופן אובייקטיבי. זה רלוונטי במיוחד לחברות ישראליות כמו Mobileye או Wix שמשלבות AI בפיתוח תוכנה, שם בדיקות קוד ובדיקות מתמטיות יכולות לחזות ביצועים כלליים.
המחקר מצביע על כך שמתמטיקה פורמלית היא תחום הצתה טבעי לשיפור עצמי רקורסיבי בסוכני AI מתקדמים. עבור מנהלים עסקיים, זה אומר להשקיע בכלים כמו Lean ו-Coq כבר היום, כדי להכין את הארגון לעידן ה-AI העצמאי. מה תהיה ההשפעה על שוק ה-AI הישראלי?