XChoice: מסגרת חדשה לבדיקת התאמת AI להחלטות אנושיות

האם מודלי שפה גדולים (LLM) באמת מתאימים להחלטות היומיומיות שלנו, או שיש פער נסתר בין עיבוד נתונים לבין שיקולים אנושיים? מאמר חדש ב-arXiv מציג את XChoice – מסגרת explainable לבדיקת התאמה בין AI לבני אדם בקבלת החלטות מוגבלות. הכלי עובר מעבר למדדי תוצאות פשוטים כמו דיוק או F1, ומשתמש במודל החלטות מבוסס מנגנון שמתאים לנתוני בני אדם ולתוצרי LLM, כדי לשחזר פרמטרים פרשניים: חשיבות יחסית של גורמי החלטה, רגישות למגבלות והשלכות של פשרות. XChoice פועל על ידי התאמת מודל החלטות לנתוני סקר השימוש בזמן האמריקאי (ATUS) כנתוני קרקע אמתיים מבני אדם, ומשווה אותם להחלטות שמייצרים מודלי LLM. התוצאות חושפות התאמה הטרוגנית בין מודלים שונים לפעילויות שונות, עם חוסר התאמה בולט בקבוצות דמוגרפיות ספציפיות כמו אוכלוסייה שחורה ונשואים. כך, במקום להסתמך על התאמה כוללת, הכלי מאפשר ניתוח מדויק של נקודות החיכוך. המאמר מדגים את XChoice על נושא יומיומי: הקצאת זמן יומי של אמריקאים. הפרמטרים המשוחזרים מראים כיצד LLM מעריכים גורמים כמו עבודה, שינה או בילוי, ומדגישים הבדלים ברגישות למגבלות זמן. זה חושף כי חוסר התאמה מתרכז בקבוצות מסוימות, מה שמצביע על הטיות פוטנציאליות במודלים. משמעות XChoice עולה בקנה אחד עם הצורך הגובר בשקיפות AI בעסקים. מנהלי עסקים ישראלים המשתמשים ב-LLM לקבלת החלטות – כמו תזמון משמרות או הקצאת משאבים – יכולים להשתמש בכלי זה כדי לאבחן ולתקן חוסרי התאמה. המאמר מאמת את העמידות של XChoice באמצעות ניתוח חוסן (invariance analysis), ובודק התערבות של יצירת תוכן מועשרת חיפוש (RAG) לשיפור ההתאמה. בסופו של דבר, XChoice מספק מדדים מבוססי מנגנון שמאפשרים אבחון מדויק של חוסרי התאמה ומציעים שיפורים ממוקדים, מעבר להתאמת תוצאות שטחית. עבור מקבלי החלטות, השאלה היא: האם תבדקו את ה-LLM שלכם עם XChoice?