האם משחק קוביות פשוט יכול להוות אתגר משמעותי לבינה מלאכותית? Yahtzee, משחק הקוביות הקלאסי, הופך לבנצ'מרק חדש בתחום למידת החיזוק. החוקרים מנתחים את המשחק כתהליך קבלת החלטות מרקוביאני (MDP) ומאמנים סוכנים באמצעות משחק עצמי. זהו אתגר סטוכסטי-קומבינטורי עם תגמולים מאוחרים, שדורש יכולות תכנון ארוכות טווח. לפי המחקר, ניתן לחשב מדיניות אופטימלית למשחק יחיד בעזרת תכנות דינמי, אך למשחק רב-משתתפים זה בלתי אפשרי, מה שמצדיק שימוש בשיטות קירוב.
הצוות בדק שיטות למידת חיזוק מוכרות: REINFORCE, Advantage Actor-Critic (A2C) ו-Proximal Policy Optimization (PPO). כולם משתמשים ברשת עצבית רב-ראשית עם גזע משותף. נבדקו וריאציות של קידוד תכונות ופעולות, ארכיטקטורה, הוערכי תשואה ורגולריזציית אנטרופיה. תחת תקציב אימון קבוע, REINFORCE ו-PPO היו רגישים מאוד להיפר-פרמטרים ולא הגיעו לביצועים קרובים לאופטימום. לעומת זאת, A2C הצליחה להתאמן באופן חזק על פני מגוון הגדרות.
הסוכן הטוב ביותר השיג ציון חציוני של 241.78 נקודות ב-100,000 משחקי הערכה, קרוב ל-5% מציון האופטימום של 254.59 שנקבע בתכנות דינמי. הוא הצליח להשיג בונוס חלק עליון ב-24.9% מהמקרים וב-Yahtzee ב-34.1%. עם זאת, כל הדגמים התקשו ללמוד אסטרטגיית הבונוס העליון והתמקדו יתר על המידה בארבעה-של-אותו-דבר, מה שמדגיש אתגרי הקצאת זיכוי ארוכת טווח וחקר.
המחקר הזה מדגיש את החשיבות של בחירת שיטת אימון מתאימה למשחקים סטוכסטיים. A2C בולטת כשיטה יציבה שמתמודדת טוב עם רעש ותגמולים מאוחרים. בהקשר עסקי, תובנות כאלה יכולות לשפר אלגוריתמים בתחומים כמו לוגיסטיקה, ניהול מלאי או משחקים מסחריים, שבהם החלטות סטוכסטיות נפוצות. בישראל, שבה חברות כמו Mobileye ו-Wiz משקיעות ב-AI, מחקרים כאלה יכולים להאיץ פיתוח סוכנים חכמים יותר.
לסיכום, Yahtzee חושף את החוזקות והחולשות של שיטות למידת חיזוק מודרניות. מנהלי טכנולוגיה צריכים לשקול יציבות אימון כשאתגרים ארוכי טווח מעורבים. כיצד תיישמו תובנות אלה בפרויקטי AI הבאים שלכם?