בעידן שבו מודלי בינה מלאכותית מקבלים החלטות עסקיות קריטיות, היכולת שלהם לזהות מתי הם לא יודעים היא מפתח לאמינות. מחקר חדש שפורסם ב-arXiv מציג שיטה פשוטה, יעילה ואוניברסלית ללא צורך באימון מחדש, שמיישמת כיול מודלים, קסקדת מודלים וניקוי נתונים כדי לנצל את יכולת המודל לזהות חוסר ידע. השיטה חלה על מודלי ראייה ולשון כאחד. החוקרים מדגישים שתי תצפיות אמפיריות מרכזיות: רמת ביטחון גבוהה יותר תואמת לדיוק גבוה יותר בתוך אותו מודל, וכיול על קבוצת אימות שומר על כיול בקבוצת בדיקה נפרדת. תצפיות אלה מאששות את האמינות וההשוואה בין ביטחונות מכוילים.
השיטה מתחילה בכיול המודל באמצעות אותות פנימיים כדי לשקף ignorance אמיתי. על בסיס זאת, החוקרים מציגים שני יישומים מרכזיים. ראשון, קסקדת מודלים עם ניתוב יתרון מכויל. באמצעות אות הניתוב המושתת על השוואת ביטחונות מכוילים, משרשרים מודלים גדולים וקטנים כדי לשפר יעילות ללא פגיעה משמעותית בדיוק. כמו כן, שרשור שני מודלים בגודל דומה משיג ביצועים טובים יותר מכל אחד בנפרד. השיטה הזו מאפשרת ניצול אופטימלי של משאבים.
היישום השני הוא ניקוי נתונים על בסיס ensemble של מודלים. בזהירות לשלב מומחים מרובים וביטחונותיהם המכוילים, השיטה מזהה דוגמאות שגויות ביעילות גבוהה. במבחנים על ImageNet ועל Massive Multitask Language Understanding (MMLU), השיטה מאזנת בין דיוק לשיעור זיהוי ומסירה דוגמאות שגויות בצורה אפקטיבית. לפי הדיווח, זה צעד מעשי לעבר AI יעיל, אמין ואמון יותר.
בהקשר עסקי, השיטה רלוונטית במיוחד לחברות ישראליות המפתחות פתרונות AI, שם יעילות חישובית היא גורם קריטי. כיול מאפשר הפחתת עלויות עיבוד על ידי שימוש במודלים קטנים למשימות פשוטות, בעוד מודלים גדולים מטפלים באתגרים מורכבים. ניקוי נתונים משפר את איכות האימון ומפחית סיכונים ביישומים קריטיים כמו רפואה או פיננסים.
בסיכום, המחקר מוכיח שכאשר מודלים יודעים מתי הם לא יודעים, נפתחות אפשרויות רבות לעסקים. מנהלי טכנולוגיה בישראל צריכים לשקול ליישם כיול כזה כדי לשפר את מערכות ה-AI שלהם. האם המודלים שלכם מוכנים להודות בחוסר הידע?