בעידן שבו מודלי שפה גדולים (LLMs) מניעים סוכני AI המשתמשים בכלים ליישומים בעולם האמיתי, בעיה סמויה מאיימת על האמינות: סטיית כוונה. סוכנים אלה עלולים לסטות מהמטרה המקורית של המשתמש, מה שמקשה על הערכה שיפור. חוקרים מציגים את RISE, שיטת 'Real-to-Virtual' שמבטיחה להתגבר על אתגר זה.
הבעיה המרכזית היא ששיטות קיימות מסתמכות על דגימות ממערכות אמיתיות – יקרות בגלל בקשות משתמשים מותאמות ידנית – או על נתונים וירטואליים שמודלים מייצרים, הסובלים משינוי הפצה בכלים אמיתיים. שתיהן חסרות דגימות שליליות מותאמות לסטיית כוונה, מה שמגביל למידת העדפות יעילה. RISE עוגנת על פרימיטיבים מוּוּדָאֻים של כלים, מסנתזת מסלולים וירטואליים ומשנה פרמטרים קריטיים לייצור דגימות שליליות מגוונות.
באמצעות נתונים סינתטיים אלה, RISE מאמנת מודלים בסיסיים בשני שלבים ליישור כוונה. התוצאות מרשימות: שיפור ממוצע של 35.28% במדד Acctask (השלמת משימות) ו-23.27% ב-Accintent (יישור כוונה), עם עליונות על שיטות SOTA ב-1.20-42.09% וב-1.17-54.93% בהתאמה. המדדים בוחנים דרישות משתמש, מסלולי ביצוע ותגובות סוכן.
בהקשר רחב יותר, סטיית כוונה פוגעת באמינות סוכני AI בתחומים כמו אוטומציה עסקית ושירות לקוחות. RISE מציעה גישה חסכונית שמשלבת נתונים אמיתיים ווירטואליים, ומפחיתה תלות בנתונים יקרים. בישראל, שבה חברות כמו Mobileye ו-Wix משקיעות בסוכני AI, שיטה זו יכולה להאיץ פיתוח כלים אמינים יותר.
עבור מנהלי טכנולוגיה ישראליים, RISE מדגישה את הצורך באימון מותאם לסטיות סמויות. כדאי לבחון שילוב בשלבי פיתוח מוקדמים. האם סטיית כוונה היא המכשול הבא באימוץ AI? קראו את המחקר המלא ב-arXiv.