SaEI: שיטה חדשה משפרת חשיבה במודלי VLM בלמידה מחוזקת

בעידן שבו מודלי שפה-ראייה (VLM) צריכים לפתור בעיות מורכבות במהירות ובדיוק, למידה מחוזקת (RL) הפכה לכלי מרכזי לשיפור יכולות החשיבה. אולם, שיטות קיימות מתעלמות מהתערבות אנטרופיה בשלב הדגימה של RL, מה שמגביל את הגיוון בתגובות. כעת, מחקר חדש מציג את SaEI – התערבות אנטרופיה אדברסריאלית סלקטיבית – שמשנה את חוקי המשחק על ידי עיוות קלט חזותי כדי להגביר חקירה. השיטה SaEI מתמקדת בשיפור האנטרופיה של מדיניות ה-VLM באמצעות עיוות סלקטיבי של קלט התמונה. היא כוללת שני רכיבים מרכזיים: דגימה אדברסריאלית מונחית אנטרופיה (EgAS) וחישוב אנטרופיה סלקטיבי לפי טוקנים (TsEC). ב-EgAS, אנטרופיה של תגובות מדוגמות הופכת למטרה אדברסריאלית, והגרדיאנט המתאים משמש לתקיפת קלט חזותי לייצור דגימות אדברסריאליות. כך, המודל חוקר מרחב תשובות רחב יותר במהלך דגימת RL. הרכיב השני, TsEC, ממקסם את יעילות התקיפה האדברסריאלית תוך שמירה על ידע עובדתי במודל. הוא מחשב אנטרופיה באופן סלקטיבי לפי טוקנים ספציפיים, ומבטיח שהעיוות לא פוגע בעובדות אלא רק מגביר גיוון. לפי החוקרים, שיטה זו משפרת משמעותית את ביצועי GRPO – אופטימיזציה מבוססת מדיניות כללית – על ידי התמקדות בשלב הדגימה שהוזנח עד כה. לעומת שיטות קודמות שמתערבות באנטרופיה רק בעדכון טוקנים במהלך אופטימיזציה, SaEI מביאה גישה הוליסטית יותר. היא מנצלת תקיפות אדברסריאליות כדי להרחיב את מרחב החקירה, מה שמוביל לשיפורים ניכרים ביכולות חשיבה חזותית. ניסויים מקיפים במאגרי נתונים בתחום ובחוץ-תחום הוכיחו עלייה משמעותית בביצועים, וקוד השיטה ישוחרר עם קבלת המאמר. למנהלי עסקים ישראלים בתחום ה-AI, SaEI מצביעה על מגמה חשובה: שילוב טכניקות אדברסריאליות כדי לשפר מודלים ללא צורך בנתונים חדשים. האם זה יאיץ פיתוח יישומי VLM מקומיים? השיטה מדגישה את החשיבות של חקירה יעילה ב-RL, ויכולה להשפיע על כלים עסקיים כמו ניתוח תמונות אוטומטי.