בעידן שבו מודלי שפה גדולים (LLM) זקוקים לאימון מדויק כדי לספק תשובות איכותיות, חוקרים מציגים את GOPO – שיטת אופטימיזציית מדיניות אורדינלית קבוצתית. השיטה פותרת בעיה מרכזית בלמידה מחוזקת מהעדפות אנושיות (RLHF) הסטנדרטית, שבה דגמי התגמול מאומנים על נתוני העדפות זוגיות, אך אופטימיזציית המדיניות מסתמכת על ערכי תגמול מוחלטים. במשימות כמו סיכום טקסטים, מעקב הוראות ושלמת שיחות, שבהן התגמולים אינם ניתנים לאימות, חוסר ההתאמה הזה מוביל לביצועים ירודים. GOPO משתמשת אך ורק בדירוג התגמולים ומתעלמת מערכיהם המוחלטים, ומבטיחה התאמה מושלמת בין שלבי האימון.
RLHF הסטנדרטי כולל אימון דגם תגמול על נתוני העדפות זוגיות בין תשובות, ולאחר מכן שימוש בדגם זה לאופטימיזציית מדיניות. עם זאת, בעוד דגמי התגמול מיועדים ללכוד העדפות יחסיות, טכניקות האופטימיזציה הקיימות תלויות בגדלי התגמולים המוחלטים. לפי הדיווח, חוסר ההתאמה הזה גורם לביצועים לא אופטימליים בסביבות ללא אימות תגמולים. GOPO מציעה טרנספורמציה מבוססת דירוג של התגמולים, שמאפשרת אופטימיזציה ישירה על סמך סדר הדירוג בלבד.
בהשוואה ל-GRPO (אופטימיזציית מדיניות יחסית קבוצתית), GOPO מספקת יתרונות מובהקים: מסלולי תגמול גבוהים יותר באימון ובוולידציה, הערכות טובות יותר של LLM כשופט בכל רוב שלבי האימון האמצעיים, והשגת מדיניות באיכות דומה בפחות צעדי אימון משמעותיים. החוקרים מדווחים על שיפורים עקביים במגוון משימות ובגדלי מודלים שונים, מה שהופך את GOPO לכלי מבטיח לשיפור אימון LLM.
המשמעות העסקית של GOPO בולטת בחברות טכנולוגיה ישראליות המפתחות מודלי AI, כמו אלו העוסקות בסיכום מסמכים עסקיים או צ'טבוטים. השיטה מאפשרת אימון יעיל יותר ללא צורך באימות תגמולים יקרים, ומפחיתה זמן פיתוח. בהשוואה לשיטות קודמות, GOPO מציעה מסלולי למידה יציבים יותר, מה שמקל על הטמעה בסביבות עסקיות.
לסיכום, GOPO מהווה קפיצת מדרגה באופטימיזציית מדיניות RLHF, ומבטיחה ביצועים טובים יותר בפחות משאבים. מנהלי טכנולוגיה בישראל צריכים לשקול אימוץ השיטה בפרויקטי AI הבאים שלהם. האם GOPO תהפוך לסטנדרט חדש?