LLM בזיהוי אקסיומות: בנצ'מרק חדש מגלה חולשות

בעידן הדיגיטלי, אונטולוגיות מהוות כלי חיוני לארגון ידע מובנה בתחומים כמו עסקים ומחקר. אולם, פיתוחן דורש מומחיות רבה וזמן רב. כעת, מחקר חדש מפרסם את בנצ'מרק OntoAxiom, המאפשר בדיקת יכולות של מודלים גדולים של שפה (LLM) בזיהוי אקסיומות – המרכיבים הלוגיים הבסיסיים המגדירים יחסים בין מחלקות ותכונות. הבנצ'מרק כולל תשע אונטולוגיות בגודל בינוני עם 17,118 טריפלים ו-2,771 אקסיומות, ומתמקד בסוגים כמו תת-מחלקה, מנוגדות, תת-תכונה, תחום וטווח. המחקר בדק 12 LLM בהגדרת 3-shot עם שתי אסטרטגיות: גישה ישירה ששואלת את כל האקסיומות בבת אחת, לעומת גישה אקסיומה-אקסיומה (AbA) ששואלת על אחת בכל פעם. התוצאות מראות כי AbA מניבה ציוני F1 גבוהים יותר מהגישה הישירה. הביצועים משתנים משמעותית בין סוגי האקסיומות ובין תחומי האונטולוגיות. לדוגמה, באונטולוגיית FOAF הושג ציון של 0.642 לאקסיומת תת-מחלקה, בעוד שבאונטולוגיית המוזיקה נרשם רק 0.218. אקסיומות מסוימות התגלו כמאתגרות במיוחד לזיהוי. מודלים גדולים יותר עלו על הקטנים בביצועים, אך מודלים קטנים עדיין יכולים לשמש בסביבות מוגבלות במשאבים. לפי הדיווח, הביצועים הכוללים אינם גבוהים מספיק כדי להחליף לחלוטין מהנדסי אונטולוגיות, אך LLM מספקים מועמדים שימושיים לשיפור ופיתוח אונטולוגיות. המשמעות העסקית של הממצאים רבה: חברות ישראליות בתחומי AI, פינטק ובריאות זקוקות לאונטולוגיות איכותיות לניהול ידע, חיפוש סמנטי וקבלת החלטות מבוססת נתונים. שימוש ב-LLM ככלי עזר יכול להאיץ תהליכים, להפחית עלויות ולהגביר דיוק. בהשוואה לשיטות מסורתיות הדורשות מומחים אנושיים, הגישה ההיברידית – LLM + בדיקה אנושית – מבטיחה יעילות גבוהה יותר. בישראל, שבה סטארט-אפים רבים מפתחים פתרונות AI, בנצ'מרק זה יכול לשמש כמבחן סטנדרטי לבחירת מודלים. המחקר מדגיש את הפוטנציאל של LLM בלמידת אונטולוגיות, אך גם את המגבלות. אסטרטגיית AbA מומלצת ליישום מעשי, שכן היא משפרת דיוק. עתידית, שיפורי מודלים ושילוב נתונים נוספים עשויים להביא לאוטומציה מלאה יותר. עבור מנהלי טכנולוגיה, חשוב לבחון ביצועים ספציפיים לתחומם, כפי שהראו ההבדלים בין FOAF למוזיקה. מה זה אומר לעסקים? התחילו לבדוק LLM על אונטולוגיות פנימיות שלכם עם AbA, כדי לייצר מועמדי אקסיומות מהירים. האם זה ישנה את אופן ארגון הידע בחברות ישראליות? קראו את המחקר המלא ב-arXiv.