בעידן שבו דגמי שפה גדולים (LLM) כובשים תחומי חשיבה מורכבים כמו שחמט, עולה השאלה: האם דיוק גבוה מול מנועים כמו Stockfish מעיד על הבנה אמיתית? מחקר חדש מ-arXiv טוען שלא. החוקרים מציגים מסגרת יציבות גיאומטרית חדשנית, שבודקת עקביות של הדגמים תחת טרנספורמציות בלתי תלויות כמו סיבוב לוח, השתקפות מראה, היפוך צבעים והמרת פורמט. המחקר בדק כ-3,000 מצבים על שישה דגמים מובילים, כולל GPT-5.1, Claude Sonnet 4.5 ו-Kimi K2 Turbo.
הממצאים חושפים פרדוקס מדהים של דיוק מול יציבות. דגמים כמו GPT-5.1 משיגים דיוק כמעט מושלם במצבים סטנדרטיים, אך סובלים קריסה קטסטרופלית תחת שינויים גיאומטריים. במיוחד במשימות סיבוב, שיעור השגיאות מזנק ביותר מ-600%. התופעה מצביעה על הסתמכות על זיהוי תבניות שטחי במקום היגיון מרחבי מופשט. לעומת זאת, Claude Sonnet 4.5 ו-Kimi K2 Turbo מפגינים עמידות כפולה, עם עקביות גבוהה בכל צירי הטרנספורמציה.
המסגרת החדשה מדגישה כשל של מדדי דיוק מסורתיים, שאינם מבדילים בין הבנה גיאומטרית אמיתית לבין שינון של מצבים קנוניים נפוצים. בדיקת יציבות גיאומטרית מספקת מדד אורתוגונלי חיוני, שמאפשר להפריד בין יכולות חשיבה אמיתיות לזיהום נתונים או התאמה יתר. בנוסף, המחקר בוחן את המתח בין עזרה לביטחון, ומזהה את Gemini 2.5 Flash כמוביל בדחיית מצבים בלתי חוקיים (96%).