בעידן שבו מודלי שפה גדולים (LLM) שולטים בשיחות ובחיזויים, עולה השאלה: האם הם מסוגלים לזהות דפוסים זמניים בפעולות חוזרות של משתמשים, כמו רכישות חוזרות? מחקר חדש מאת arXiv בוחן זאת במבחן פשוט אך מייצג: חיזוי מרווחי זמן בין רכישות. התוצאות מפתיעות ומאתגרות את ההנחה שיותר הקשר תמיד מוביל לביצועים טובים יותר. החוקרים מצאו כי LLM מתקשים במיוחד במשימות כאלה.
המחקר ביצע השוואה שיטתית בין LLM מתקדמים לבין מודלים סטטיסטיים ולמידת מכונה ייעודיים, במצב zero-shot – ללא אימון מוקדם. במבחן חיזוי מרווחי זמן לרכישות חוזרות, LLM עלו על מודלים סטטיסטיים פשוטים, אך נכשלו מול מודלי למידת מכונה ייעודיים. זה מצביע על מגבלה יסודית ביכולתם של LLM ללכוד מבנים זמניים כמותיים מדויקים. לפי הדיווח, LLM מציגים יכולות מרשימות בתחומים אחרים, אך כאן הם מפגרים.
שנית, נבחן השפעת רמת ההקשר. הוספת הקשר מתון שיפרה את הדיוק, אך הוספת פרטים מפורטים ברמת המשתמש – כמו היסטוריית פעולות מלאה – דווקא פגעה בביצועים. ממצא זה סותר את ההנחה הנפוצה ש'יותר נתונים = חשיבה טובה יותר'. החוקרים מדגישים כי LLM זקוקים לאיזון מדויק בהקשר כדי להימנע מירידה באיכות החיזוי.
המשמעות לעולם העסקים גדולה: חברות ישראליות בתחומי קמעונאות ובנקאות מסתמכות על חיזוי התנהגות לקוחות לחיזוי רכישות חוזרות. אם LLM אינם מדויקים מספיק, יש צורך במודלים היברידיים המשלבים דיוק סטטיסטי עם גמישות לשונית. זה רלוונטי במיוחד בישראל, שבה חברות כמו וויקס ומובילאיי משלבות AI בפלטפורמות.
המחקר מציע כיוונים לעתיד: פיתוח מודלים המשלבים LLM עם אלגוריתמים ייעודיים לחיזוי זמני. עבור מנהלי טכנולוגיה, זה אומר לבחון בזהירות שילוב LLM במערכות חיזוי מבוססות נתונים זמניים. האם זה ישנה את האופן שבו אנו בונים כלים מבוססי AI?