למה LLM נכשלים במודלינג לומדים בחינוך K-12?

בעידן שבו מודלי שפה גדולים (LLMs) הופכים למורים וירטואליים פופולריים בחינוך K-12, מחקר חדש מעלה חששות כבדים. לפי המחקר, שפורסם ב-arXiv, הרעיון שמודלים גנרטיביים יכולים להחליף מודלים מסורתיים של מעקב אחר למידת הלומד (learner modelling) הוא טעות מסוכנת. זה בולט במיוחד בתחום חינוך היסודי והתיכון, שמסווג כתחום בסיכון גבוה לפי חוק ה-AI האירופי. המחקר בוחן את הדיוק, האמינות והעקביות הזמנית של LLMs בהערכת ידע מתפתח לאורך זמן. המחקר משווה בין מודל Deep Knowledge Tracing (DKT) לבין LLM נפוץ, שנבדק בגישה zero-shot ובגישה מיודנת (fine-tuned), על סמך מערך נתונים גדול ונגיש. התוצאות מראות כי DKT משיג את הביצועים הטובים ביותר בחיזוי נכונות הצעד הבא (AUC=0.83), ומנצח את ה-LLM בכל התנאים. אמנם היודון של ה-LLM שיפר את ה-AUC בכ-8% לעומת הבסיס zero-shot, אך הוא עדיין מפגר ב-6% אחרי DKT. בנוסף, ה-LLM המיודן ייצר יותר שגיאות בשלבים המוקדמים של הרצף, שם שגיאות כאלה מזיקות במיוחד לתמיכה אדפטיבית. ניתוח זמני חושף חולשות משמעותיות ב-LLMs: בעוד DKT שומר על עדכוני שליטה (mastery) יציבים ונכונים כיוונית, וריאציות ה-LLM מציגות עדכונים לא עקביים ולעיתים בכיוון שגוי. החולשות הללו נשמרות למרות שה-LLM המיודן דרש כמעט 198 שעות אימון בחישוב גבוה, הרבה מעבר לדרישות של DKT. ניתוח איכותני של הערכת שליטה מרובת-כישורים מראה כי גם לאחר יודון, ה-LLM ייצר מסלולי שליטה לא עקביים, בעוד DKT שמר על עדכונים חלקים ועקביים. הממצאים מדגישים כי LLMs לבדם לא יוכלו להתחרות ביעילות של מערכות טוטורינג אינטליגנטיות מבוססות. חוק ה-AI האירופי מחייב עיצוב אחראי בתחומי סיכון גבוה כמו חינוך K-12, ולכן נדרשים מסגרות היברידיות המשלבות מודלינג לומדים מסורתי עם יכולות גנרטיביות. עבור מנהלי חינוך בישראל, שמתמודדים עם אתגרי דיגיטציה, זהו תזכורת חשובה לבחון פתרונות מבוססי ראיות. המחקר קורא לפיתוח כלים היברידיים שמשלבים את חוזקות ה-LLMs עם מודלים כמו DKT. מה זה אומר לעסקים ישראליים בתחום EdTech? כדאי לבדוק כיצד לשלב גישות כאלה כדי להבטיח למידה אפקטיבית ואחראית.