בעולם שבו AI הופך לכלי רמאות נפוץ, Anthropic נתקלת בבעיה ייחודית: המבחן הטכני שלה למועמדים לעבודה נכבש על ידי Claude, המודל שלה עצמה. מאז 2024, צוות אופטימיזציית הביצועים של החברה מחלק מבחן ביתי כדי לבדוק את כישורי המועמדים. אולם, עם התקדמות כלי קידוד מבוססי AI, המבחן נאלץ להשתנות באופן דרמטי כדי להישאר צעד אחד קדימה.
טריסטן היום, ראש הצוות, תיאר את ההיסטוריה של האתגר בפוסט בלוג שפרסם. "כל מודל Claude חדש הכריח אותנו לעצב מחדש את המבחן", הוא כותב. כשהוגבל לזמן זהה לזה של המועמדים, Claude Opus 4 עלה על רוב המועמדים האנושיים. זה עדיין אפשר להבחין בין המועמדים הטובים ביותר – אך אז הגיע Claude Opus 4.5, שתואם אפילו את הטובים שבהם.
התוצאה היא בעיית הערכת מועמדים חמורה. ללא פיקוח פנים אל פנים, אין דרך לוודא שמישהו לא משתמש ב-AI כדי לרמות במבחן – ואם כן, הוא יעלה במהירות לראש הרשימה. "תחת מגבלות המבחן הביתי, אין לנו עוד דרך להבחין בין הפלט של המועמדים הטובים ביותר שלנו לבין המודל המתקדם ביותר שלנו", כותב היום. הבעיה הזו כבר משתוללת בבתי ספר ואוניברסיטאות בעולם, אך אירוני שאותיות המעבדות AI נאלצות להתמודד איתה.
Anthropic, עם זאת, מצוידת היטב להתמודד עם האתגר. בסופו של דבר, היום תכנן מבחן חדש שקשור פחות לאופטימיזציה של חומרה, מה שהופך אותו לחדשני מספיק כדי להקשות על כלי AI עכשוויים. כחלק מהפוסט, הוא שיתף את המבחן המקורי כדי לראות אם קוראים יכולים להציע פתרון טוב יותר. "אם תוכלו לעלות על Opus 4.5", נכתב בפוסט, "נשמח לשמוע מכם".
הסיפור מדגיש את האתגר הגובר בתעשיית ה-AI: כיצד לבחון כישורים אנושיים בעידן שבו מכונות מצטיינות במשימות הטכניות? למנהלי משאבי אנוש בישראל, זהו תזכורת לבחון מחדש תהליכי גיוס, אולי עם דגש על יצירתיות וחשיבה ביקורתית ש-AI עדיין מתקשה בו. מה תעשו כדי להבטיח שהמועמדים שלכם אמיתיים?