מחקר
6 דקות
מ־arXiv cs.AI
DARE-bench למשימות דאטה סיינס: למה גם מודלים חזקים נכשלים
**DARE-bench הוא בנצ'מרק חדש שבודק אם מודלי שפה יודעים לבצע משימות דאטה סיינס לפי תהליך מוגדר — ולא רק להפיק תשובה משכנעת.** לפי התקציר ב-arXiv, הוא כולל 6,300 משימות מבוססות Kaggle עם אמת מידה ניתנת לאימות, ומראה שגם מודלים חזקים כמו gpt-o4-mini מתקשים במיוחד במשימות modeling. עבור עסקים בישראל, הלקח רחב יותר מעולם המחקר: אם אתם מחברים LLM ל-WhatsApp, ל-Zoho CRM או ל-N8N, צריך למדוד עמידה בתהליך, שיעור שגיאות והצלחה בכל שלב. הנתונים על שיפור של פי 1.83 ופי 8 אחרי fine-tuning מראים שביצועים טובים מגיעים מהתאמה למשימה — לא רק מבחירת מודל גדול.
קרא עוד