בעולם הרפואה, שבו אפילו מומחים מסכימים רק חלקית על אבחנות ותשובות, האם ניתן לסמוך על בנצ'מרקים של מערכות בינה מלאכותית? מחקר חדש שפורסם ב-arXiv חושף פער הערכה קריטי בבדיקת יכולות מודלי שפה גדולים (LLMs) ומודלי ראייה. לפי החוקרים, הערכות סטנדרטיות מתעלמות מאי הוודאות באמת המידה שמספקים המומחים, מה שמוביל למסקנות מטעות. המחקר מציג מסגרת הסתברותית שמסבירה מדוע ודאות גבוהה באמת המידה היא תנאי הכרחי להשגת ציונים גבוהים, אפילו עבור מומחים.
המסגרת ההסתברותית מוכיחה כי ברפואה, שבה אי ודאות שכיח, פער ההערכה מתרחב. כשיש וריאציה גבוהה בתשובות המומחים, ההפרש בביצועים בין תייגר אקראי למומחי עילית הופך זניח. החוקרים מדגישים כי התעלמות מאי הוודאות עלולה לגרום לכך שמערכת לא מומחית תיראה כאילו היא מתחרה ברמה של מומחה. כדי להתמודד עם הבעיה, הם מציגים מושגים חדשים: דיוק צפוי ו-F1 צפוי, שמעריכים את הציון האפשרי של מומחה או מערכת בהתחשב בווריאציה באמת המידה.
ההמלצה המרכזית של המחקר היא לשכבת את תוצאות ההערכה לפי הסתברות האמת המידה, שנמדדת משיעור ההסכמה בין מומחי האמת המידה. שיטה זו הופכת קריטית במיוחד כשהביצועים הכוללים יורדים מתחת ל-80%. בדלדלים של ודאות גבוהה, ההשוואה בין מערכות הופכת אמינה יותר ומפחיתה את השפעת גורם הבלבול העיקרי – אי הוודאות עצמה.
פער ההערכה הזה רלוונטי במיוחד לרפואה, שבה החלטות חיים תלויות בדיוק. בהשוואה לשיטות מסורתיות, הגישה ההסתברותית מאפשרת הבחנה טובה יותר בין מערכות טובות לפחות טובות. בישראל, שבה חברות רבות מפתחות AI רפואי, חשוב לאמץ שיטות כאלה כדי להימנע מהטיות בבחירת כלים. זה משפיע גם על פיתוח מודלים מקומיים.
עבור מנהלי עסקים ומהנדסי AI, המסקנה ברורה: התחילו לשכבת תוצאות בבנצ'מרקים שלכם, במיוחד מתחת ל-80% דיוק. כיצד תשנו את תהליך ההערכה שלכם היום כדי להבטיח החלטות מבוססות יותר? המחקר מדגיש את הצורך בגישה מדעית מדויקת יותר להערכת AI.