השוואת PPO, GRPO ו-DAPO: שיפור חשיבה במודלי שפה גדולים

בעידן שבו מודלי שפה גדולים (LLM) נדרשים לפתור בעיות חשיבה מורכבות, חוקרים פרסמו מחקר שמשווה שלושה אלגוריתמי למידה מחוזקת (RL): PPO, GRPO ו-DAPO. המחקר בודק כיצד אימון מבוקר על משחק Countdown משפר ביצועים במבחני חשיבה כלליים. התוצאות מראות שכל המודלים המאומנים ב-RL עלו על המודלים הבסיסיים, אך ההבדל תלוי במבחן. זהו צעד חשוב להבנת איך לשפר חשיבה ב-LLM בצורה יעילה. המחקר מתמקד בהערכת העברה מבוקרת: קודם כל אימון על משחק Countdown המיוחד, ואחר כך בדיקה על סדרת מבחני חשיבה כלליים. בכל המשימות, המודלים המאומנים ב-RL הראו שיפור לעומת הבסיסיים, אם כי מידת השיפור השתנתה בין המבחנים. PPO, GRPO ו-DAPO נבחנו באופן שיטתי, והתוצאות מדגישות את הפוטנציאל של RL לשדרוג יכולות חשיבה במודלים גדולים. הניתוח הפרמטרי מספק הנחיות מעשיות לאימון LLM מבוסס RL. הגדלת גודל הקבוצה ב-GRPO וב-DAPO הובילה לדינמיקות אימון יציבות יותר ולדיוק גבוה יותר. לעומת זאת, השפעת מקדם ה-KL-penalty הייתה לא מונוטונית – לא תמיד יותר זה טוב יותר. בנוסף, מרכיב הדגימה הדינמית (DS) ב-DAPO לא שיפר את הביצועים; למעשה, התוצאות הטובות ביותר נוצרו עם DAPO כש- DS כובה. הממצאים האלה חשובים למפתחי AI בישראל ובכלל, שמחפשים דרכים יעילות לשפר מודלי LLM. בהשוואה לשיטות אחרות, RL מציע גישה ממוקדת חשיבה מורכבת, במיוחד בתחומים כמו פיננסים ואנליטיקה עסקית. המחקר מדגיש את הצורך בהתאמת פרמטרים ספציפיים, מה שיכול לחסוך זמן ומשאבים באימון. לסיכום, המחקר מציע מסלול ברור: השתמשו ב-GRPO או DAPO עם גודל קבוצה גדול יותר, ותכבה DS ב-DAPO לקבלת תוצאות אופטימליות. עבור מנהלי טכנולוגיה, זה אומר שהשקעה ב-RL יכולה לשדרג כלים עסקיים. מה הפרמטרים שתנסו קודם?