ניתוח
6 דקות
מ־arXiv cs.AI
PlotChain לקריאת גרפים הנדסיים: בנצ'מרק דטרמיניסטי שמבדיל בין MLLM טוב למצוין
PlotChain הוא בנצ'מרק דטרמיניסטי שמודד עד כמה מודלים מולטימודליים (MLLMs) מצליחים לקרוא גרפים הנדסיים ולהחזיר ערכים מספריים מדויקים ב-JSON, במקום להסתפק ב-OCR או תיאור חופשי. לפי ה-preprint (arXiv:2602.13232v1), המאגר כולל 15 משפחות ו-450 גרפים עם אמת מידה שמחושבת ישירות מתהליך היצירה, ובנוסף “נקודות בדיקה” (cp_) שמאפשרות לאתר איפה המודל נכשל. התוצאות מדגישות פערים: Gemini 2.5 Pro מגיע ל-80.42% pass-rate בשדות, GPT‑4.1 ל-79.84% ו-Claude Sonnet 4.5 ל-78.21%, בעוד GPT‑4o ב-61.59%. המשימות השבריריות ביותר הן בתחום התדר: bandpass עד 23% ו-FFT מאתגר. לעסקים בישראל שמקבלים דוחות כ-PDF ב-WhatsApp, זו תזכורת לבנות פיילוט עם טולרנסים, QA וזרימה מחוברת ל-N8N ו-Zoho CRM.
קרא עוד