בעולם שבו סמארטפונים הפכו למרכז השליטה היומיומי, חוקרים מציגים את See-Control – מסגרת חדשנית שמאפשרת לרובוט בעל מעלות חופש נמוכות לתפעל מכשירים באופן פיזי ישיר. הפיתוח הזה פותר בעיה מרכזית: שיטות קיימות מסתמכות על Android Debug Bridge (ADB), שמגבילות אותן למכשירי אנדרואיד בלבד. See-Control הופכת את התפעול לפלטפורמה-עצמאית, ומביאה את סוכני ה-AI מהדיגיטלי אל הפיזי. המחקר, שפורסם ב-arXiv, מציע פתרון שמתאים לסביבות ביתיות אמיתיות.
See-Control כוללת שלושה רכיבים מרכזיים. ראשון, משימת ESO (Embodied Smartphone Operation) – בנצ'מרק עם 155 משימות ומדדי הערכה מדויקים. שנית, סוכן מבוסס מודלי שפה גדולים רב-מודליים (MLLMs) שמייצר פקודות שליטה רובוטיות ללא צורך בגישה למערכת או ADB. שלישית, מאגר נתונים עשיר של אפיזודות תפעול עם הערות מפורטות. כל אלה מספקים משאבים חיוניים למחקר עתידי בתחום.
המסגרת מדגימה יכולת תפעול סמארטפון מלא דרך אינטראקציה פיזית בלבד. הרובוט, בעל מעלות חופש נמוכות, מבצע פעולות כמו נגיעות, החלקות ומגעים מדויקים על המסך. זהו קפיצת מדרגה לעומת גישות וירטואליות, שכן היא גורמת לסוכנים דיגיטליים להשפיע על העולם הפיזי. החוקרים מדגישים כי See-Control סוגרת את הפער בין סוכנים וירטואליים למציאות, ומאפשרת משימות תלויות סמארטפון בסביבות אמיתיות.
לעומת שיטות קודמות שדורשות חיבור ADB או גישה למערכת ההפעלה, See-Control מציעה גישה עצמאית בפלטפורמה. זה רלוונטי במיוחד לישראל, שבה חברות כמו Mobileye וחברות סטארט-אפ רבות מפתחות רובוטיקה ו-AI. המסגרת יכולה לשמש כבסיס לפיתוח רובוטים ביתיים שמבצעים משימות כמו הזמנת אוכל או ניהול יומן דרך הסמארטפון, ללא התערבות אנושית.
השלכות עסקיות מרחיקות לכת: עסקים בתחום הרובוטיקה והאוטומציה יכולים לאמץ את ESO כסטנדרט לבדיקת סוכנים. זה מאיץ פיתוח רובוטים שמתמודדים עם משימות יומיומיות תלויות סמארטפון. עם זאת, אתגרים נותרים כמו דיוק הרובוט וטיפול במגוון מכשירים. See-Control מסמנת כיוון מבטיח לעתיד שבו AI שולט בפיזי.