בעולם שבו שירותי מודלי שפה גדולים (LLM) מתמודדים עם עומסים מגוונים, דרישות עלות ודיוק משתנות לפי לקוח, שעה ביום וחשיבות השאלה – נתב PROTEUS מגיע לשנות את חוקי המשחק. המערכת החדשה, שפותחה במסגרת מחקר חדש, מקבלת ישירות יעדי דיוק (tau) כקלט בזמן אמת, במקום להסתמך על פרמטרים עמומים שדורשים כוונון מראש. זה מאפשר למפעילים להגדיר יעדים ברורים ולקבל תוצאות מדויקות, ללא ניחושים. PROTEUS משתמשת בשיטת שליטה כפולה לגרנג'יאנית, עם משתנה כפול לומד (lambda) שמעקב אחר הפרות אילוצים ומכוון את רשת המדיניות.
לפי המחקר, PROTEUS מאמנת מודל יחיד שמתפקד על פני כל ספקטרום הדיוק, ללא צורך באימון מחדש. היא נבחנה על RouterBench עם 11 מודלים ו-405 אלף שאילתות, ועל SPROUT עם 14 מודלים ו-45 אלף שאילתות. התוצאות מרשימות: עמידה עקבית ברצפות הדיוק, כאשר הדיוק עולה או שווה ל-tau. מתאם בין יעד לתגובה מגיע ל-0.97 עד 0.98. בהשוואה לנתב OmniRouter, שמשתמש גם באופטימיזציה לגרנג'יאנית, PROTEUS מצליחה לעמוד ברצפות ב-100% מהמקרים, בעוד המתחרה רק ב-22%.
PROTEUS פועלת על טווח tau מ-0.85 עד 0.95 ממודל אחד. על RouterBench היא משיגה 90.1% דיוק, קרוב מאוד ל-1.3% מהמע"ר (oracle). על SPROUT – 94.0% דיוק, בתוך 4.6% מהמע"ר. חיסכון בעלויות מגיע ל-89.8% בהשוואה למודל קבוע הטוב ביותר. זה הופך את PROTEUS לכלי רב-עוצמה לפריסות ייצור, שמאפשרות התאמה דינמית לצרכים משתנים.
בהקשר שוק ה-LLM, שבו נתבים קיימים דורשים כוונון לא אינטואיטיבי ותלויי נתונים, PROTEUS מציעה פתרון ישיר ואמין. היא מבטלת את הצורך בניחושים על תוצאות פרמטרים עקיפים ולא חד-חד-ערכיים. לעסקים ישראלים בתחום ה-AI, שמתמודדים עם עלויות גבוהות של שירותי ענן, זה פירושו אופטימיזציה טובה יותר של תקציבים תוך שמירה על איכות שירות גבוהה.
מה זה אומר למנהלי טכנולוגיה? PROTEUS מאפשרת ניהול SLA מבוסס יעדים מדויקים, חיסכון משמעותי בעלויות ושירות גמיש. כדאי לעקוב אחר הפיתוח הזה, שיכול לשנות את הדרך שבה אנחנו מפעילים מערכות AI בקנה מידה גדול. האם הנתב הזה יהפוך לסטנדרט חדש?