מדדי נאמנות סמנטית חדשים לשליטה בהזיות LLM

בעידן שבו מודלי שפה גדולים (LLM) משמשים לעיבוד כמויות עצומות של נתונים, אתגר מרכזי הוא להבטיח את נאמנות התשובות למקורות. חוקרים מפרסמים מאמר חדש ב-arXiv ומציגים שני מדדים לא מפוקחים חדשים להערכת נאמנות: נאמנות סמנטית (SF) וייצור אנטרופיה סמנטית (SEP). הגישה רואה ב-LLM מנוע מידע דו-חלקי, שבו שכבות נסתרות פועלות כשד מקסוול המבקר את השינוי מהקשר לתשובה דרך שאילתה. (72 מילים) המדדים מבוססים על שלישיות שאלה-הקשר-תשובה (QCA), המודללות כהתפלגויות הסתברותיות על נושאים משותפים. שינויי נושאים מההקשר לשאלה ולתשובה מיוצגים במטריצות מעבר Q ו-A, המקדדות את המטרה ואת התוצאה בפועל. מדד SF מחשב את נאמנות סמנטית באמצעות סטיית קולבק-לייבלר (KL) בין המטריצות הללו. שתי המטריצות מופקות בו-זמנית באופטימיזציה קעורה של הסטייה הזו, והמדד הסופי ממופה לטווח [0,1], כאשר ציונים גבוהים מעידים על נאמנות גבוהה יותר. (98 מילים) בנוסף, המחקר מציג מדד SEP המבוסס על תרמודינמיקה, המודד ייצור אנטרופיה בתהליך יצירת התשובה. לפי הממצאים, נאמנות גבוהה קשורה בדרך כלל לייצור אנטרופיה נמוך. שני המדדים ניתנים לשימוש משולב או בנפרד להערכת LLM ולשליטה בהזיות. הדגמה מתבצעת על סיכומי דוחות SEC 10-K של חברות, תחום רלוונטי לעסקים. (82 מילים) הגישה הזו מביאה חידוש בתחום הערכת LLM, שכן היא unsupervised ואינה דורשת תיוג ידני. בהשוואה לשיטות קיימות, היא משלבת תובנות מתורת המידע ומתרמודינמיקה, ומספקת מדדים כמותיים מדויקים יותר. לעסקים ישראלים הפועלים עם AI, זה פירושו כלי טוב יותר לבדיקת אמינות סיכומי מסמכים פיננסיים או משפטיים. (78 מילים) השימוש במדדים אלה יכול לשפר את אמון ב-LLM, להפחית סיכונים עסקיים מהזיות ולקדם אימוץ רחב יותר של טכנולוגיות AI. מה תהיה ההשפעה על כלים כמו ChatGPT או Gemini? קראו את המאמר המלא ב-arXiv כדי להעמיק. (60 מילים)