בעידן שבו מנכ"ל מיקרוסופט סאטיה נאדלה ניבא לפני כמעט שנתיים ש-AI יחליף עבודות ידע, השינוי במקצועות הלבנים הצווארון מגיע לאט. מודלים מתקדמים מצטיינים במחקר מעמיק ותכנון סוכני, אך רוב העבודה המשרדית נשארה ללא שינוי. כעת, מחקר חדש מחברת Mercor, ענקית נתוני אימון, חושף תשובות למסתורין הזה דרך בנצ'מרק חדש בשם Apex-Agents.
הבנצ'מרק בוחן כיצד מודלי AI מובילים מתמודדים עם משימות עבודה משרדית אמיתיות מתחומי ייעוץ, בנקאות השקעות ומשפט. לפי הדיווח, אפילו המודלים הטובים ביותר הצליחו לענות נכון על פחות מרבע מהשאלות. רוב הפעמים, המודלים סיפקו תשובה שגויה או לא סיפקו תשובה כלל. חוקר המחקר, ברנדן פודי, מציין כי הנקודה החלשה העיקרית היא איתור מידע על פני דומיינים מרובים – משהו חיוני לעבודת ידע אנושית.
פודי מסביר: "שינוי גדול בבנצ'מרק הזה הוא שבנינו סביבה שלמה, המדמה את אופן העבודה בשירותים מקצועיים אמיתיים". במציאות, אנשי מקצוע פועלים על פני Slack, Google Drive ומספר כלים נוספים. עבור סוכני AI רבים, חשיבה רב-דומיינית כזו עדיין בלתי יציבה. התרחישים נלקחו ממקצוענים אמיתיים בשוק המומחים של Mercor, שגם הגדירו את הסטנדרט להצלחה. השאלות, שפורסמו בפומבי ב-Hugging Face, מדגימות מורכבות גבוהה.
דוגמה: בשאלת משפט, במהלך 48 הדקות הראשונות של תקלה בייצור באיחוד האירופי, צוות ההנדסה של Northstar ייצא קבצי לוגים עם נתוני אישיים לאמריקה. האם זה עומד במדיניות החברה ובסעיף 49? התשובה נכונה היא כן, אך דורשת ניתוח מעמיק של מדיניות החברה וחוקי פרטיות האיחוד. משימות כאלה מדמות עבודה אמיתית, ואם LLM יצליח בהן באופן אמין, הוא יוכל להחליף עורכי דין רבים.
פודי אומר: "זה כנראה הנושא הכי חשוב בכלכלה". הבנצ'מרק משקף עבודה אמיתית. לעומת זאת, בנצ'מרק GDPVal של OpenAI בודק ידע כללי על פני מקצועות רבים, בעוד Apex-Agents מתמקד בביצוע משימות מתמשכות במקצועות ערך גבוה ספציפיים. התוצאה קשה יותר, אך קרובה יותר לשאלה אם העבודות הללו ניתנות לאוטומציה.
בדיקות הראו כי Gemini 3 Flash הוביל עם 24% דיוק ב-one-shot, אחריו GPT-5.2 עם 23%. Opus 4.5, Gemini 3 Pro ו-GPT-5 השיגו כ-18%. אף מודל לא מוכן להחליף בנקאי השקעות, אך חלקם קרובים יותר. תחום ה-AI ידוע בשבירת בנצ'מרקים מאתגרים, וכעת Apex-Agents פתוח לאתגר לצוותי AI.
פודי מציין שיפור מהיר: "כרגע זה כמו מתמחה שמצליח פעם ברבע, אבל בשנה שעברה זה היה 5-10%. שיפור כזה משנה הכל במהירות". עבור מנהלי עסקים ישראלים, זה אומר לבחון סוכני AI למשימות ספציפיות, אך לא להחליף צוותים מלאים עדיין. השקעה בפיתוח יכולה להאיץ אימוץ.
הבנצ'מרק הזה מעלה שאלה: מתי סוכני AI יהיו מוכנים באמת? עסקים צריכים להתכונן – לבדוק כלים, לאמן עובדים ולהשקיע באימון מותאם.