בעידן שבו דגמי שפה גדולים כמו GPT דורשים משאבים אדירים, חוקרים מציגים את פרומתאוס מיינד – מערכת חדשנית שמוסיפה יכולת זיכרון לדגם Qwen3-4B הקפוא באמצעות 11 מתאמים מודולריים בלבד (530MB, 7% עלות נוספת). השיטה הפיכה לחלוטין: הסרת המתאמים מחזירה את הדגם למצבו המקורי. הפיתוח פתר ארבע בעיות מרכזיות והשיג תוצאות מרשימות במבחנים.
פרומתאוס מיינד מבוססת על ארבעה פתרונות יצירתיים. ראשית, Extraction: שיטת Contrastive Direction Discovery (CDD) מגלה כיוונים סמנטיים באמצעות זוגות מינימליים ללא נתונים מתויגים. שנית, Training: אופטימיזציה מקצה לקצה קורסת, אך אימון שלבי של כל מתאם על משימות פרוקסי פשוטות מצליח. שלישית, Injection: מקודדים לימודיים נכשלים בהכללה; השורות ב-lm_head.weight כבר מספקות את המפה הנדרשת ללא אימון נוסף.
רביעית, Hidden state collapse: טרנספורמרים הופכים מילים כמו 'אישה' ו'אח' לדומות מאוד (0.98+); פרומתאוס מיינד מאמנת פרויקציות שמחזירות הבחנה (מ-0.98 ל-0.09). במבחן PrometheusExtract-132 (132 מקרים), המערכת השיגה 94.4% דיוק בשליפה בקלטים נקיים (n=54, 95% CI: [84.9%, 98.1%]), אך ירדה ל-19.4% בקלטים לא פורמליים עם אליפסות, מילות מילוי או נושאים מרומזים (n=36). הבקבוק הצוואר הוא סיווג יחסים (47.3% דיוק).
החדשנות בפרומתאוס מיינד טמונה בגישה המודולרית שמאפשרת שדרוג דגמים קיימים ללא שינוי הארכיטקטורה או המשקלים. זהו יתרון עצום לעומת שיטות מסורתיות הדורשות אימון מחדש יקר. בהשוואה למתחרים, הפתרון מציע יעילות גבוהה עם עלות נמוכה, מה שהופך אותו לרלוונטי במיוחד לחברות ישראליות המפתחות AI.
למנהלי עסקים, פרומתאוס מיינד פותחת אפשרויות חדשות: שדרוג דגמי שפה קיימים במהירות ובזול, תוך שמירה על גמישות. בעתיד, שיפור סיווג יחסים עשוי להעלות את הביצועים מעל 90% גם בקלטים מורכבים. כיצד זה ישפיע על כלי ה-AI שלכם?