שאלת טבע הבינה – בבני אדם ובמכונות – מטרידה חוקרים כבר שנים. למרות שאין הגדרה אחידה, היכולת להיגיון סיבתי נחשבת למרכיב מרכזי בבינה (Lake et al., 2017). מחקר חדש, שפורסם ב-arXiv, בודק את היגיון הסיבתי במודלי שפה גדולים (LLMs) ובבני אדם באותן משימות בדיוק, כדי להבין טוב יותר את החוזקות והחולשות שלהם. השאלות המרכזיות: האם LLMs מיושרים עם בני אדם באותן משימות? האם הם עקביים ברמת המשימה? והאם יש להם חתימות היגיון ייחודיות?
המחקר בוחן יותר מ-20 מודלי LLMs על 11 משימות סיבתיות בעלות משמעות סמנטית, המבוססות על גרף קוליידר (C1 → E ← C2). המשימות נבדקות בשתי גישות: ישירה (תשובה חד-פעמית כהערכת הסתברות שהצומת שואלת היא 1) ושרשרת מחשבה (CoT – חשיבה קודם, ואז תשובה). לפי המחקר, שיפוטים אלה מודלים באמצעות רשת בייסיאנית סיבתית (CBN) מסוג leaky noisy-OR, עם פרמטרים θ=(b, m1, m2, p(C)) בטווח [0,1], כולל התפלגות קודמת משותפת p(C).
מודל המנצח נבחר באמצעות AIC בין וריאנט סימטרי בן 3 פרמטרים (m1=m2) לבין א-סימטרי בן 4 פרמטרים (m1≠m2). גישה זו מאפשרת לפרש את חוזקות הסיבתיות ואת האמונות הדליפות של המודלים. המחקר מדגיש את החשיבות של השוואה ישירה בין LLMs לבני אדם, כדי לבחון אם מכונות מתקרבות ליכולות אנושיות בהיגיון סיבתי – תחום קריטי לפיתוח AI מתקדם.
בהקשר עסקי, הבנת היגיון סיבתי ב-LLMs חיונית לחברות ישראליות המפתחות מערכות אוטומציה. אם מודלים כאלה לא מיושרים עם חשיבה אנושית, זה עלול להוביל לשגיאות בקבלת החלטות אוטומטיות. המחקר מציע כלים לניתוח מדויק יותר של תפקוד AI, מה שיכול לשפר אפליקציות כמו ניתוח נתונים סיבתיים או תכנון אסטרטגי.
לסיכום, המחקר פותח דלת להערכה מדעית טובה יותר של בינה מכנית. מנהלי טכנולוגיה בישראל צריכים לעקוב אחר התפתחויות כאלה, כדי לשלב AI בצורה אמינה בעסקים. מה תהיה החתימה הסיבתית הייחודית של הדור הבא של LLMs?