משחק הגו, שנחשב לאתגר העליון של בינה מלאכותית במשך שנים, זוכה כעת למהפכה חדשה. אלגוריתם QZero, שפותח על ידי חוקרים, מצליח לשלוט במשחק ללא שימוש בחיפוש עץ מונטה קרלו (MCTS) – הנשק הסודי של AlphaGo. במקום זאת, QZero מבוסס על למידת חיזוק ללא מודל, ומשתמש במשחק עצמי ובשחזור ניסיון מחוץ למדיניות כדי ללמוד מדיניות שיווי משקל נאש. ההישג הזה מוכיח שגם עם מחשוב צנוע – 7 כרטיסי מסך בלבד במשך 5 חודשים – ניתן להגיע לביצועים דומים לאלו של AlphaGo, ללא נתוני אדם כלל.
QZero בנוי על למידת Q עם רגולריזציה של אנטרופיה, ומשתמש ברשת Q-ערך אחת בלבד שמאחדת הערכת מדיניות ושיפורה. האלגוריתם מתחיל מ'טבולה ראסה' – ללא ידע מוקדם – ומתאמן דרך משחק עצמי. הוא נמנע מחיפוש במהלך האימון, מה שהופך אותו למודל חופשי לחלוטין. לפי הדיווח, QZero הצליח להשיג רמה תחרותית, שווה ערך ל-AlphaGo, ובכך מדגים לראשונה את היעילות של למידת חיזוק ללא מודל במשחק מורכב כמו גו.
החדשנות המרכזית ב-QZero היא השילוב בין משחק עצמי לשחזור ניסיון מחוץ למדיניות (off-policy experience replay). זה מאפשר למידה יעילה יותר מנתוני עבר, מבלי להסתמך על סימולציות חיפוש כבדות. בניגוד לגישות קודמות כמו AlphaGo, שדרשו מודלים חזקים ומחשוב עצום, QZero מפשט את התהליך ומדגיש את הפוטנציאל של גישות פשוטות יותר בסביבות מורכבות.
המשמעות של QZero גדולה מעבר לגו. הוא מוכיח שניתן לפתור בעיות תכנון ארוך טווח ואסטרטגיה מורכבת באמצעות למידת חיזוק off-policy בקנה מידה גדול. עבור מנהלי עסקים ישראלים בתחום הטכנולוגיה, זה פותח אפשרויות ליישומים בתעשיות כמו לוגיסטיקה, פיננסים ורובוטיקה, שבהן תכנון אופטימלי חיוני. ההצלחה עם משאבים צנועים הופכת את הטכנולוגיה לנגישה יותר לסטארט-אפים.
לסיכום, QZero מסמן עידן חדש בלמידת חיזוק, שבו פשטות מנצחת מורכבות. מה תכנון עסקי שלכם ירוויח מיכולות כאלה? כדאי לעקוב אחר הפיתוחים הבאים.