בעידן שבו דגמי שפה גדולים (LLM) דורשים כוח חישוב עצום להפעלה, קוונטיזציה קיצונית הופכת לחיונית להפחתת עלויות וזמני תגובה. אולם, שיטות בינאריזציה שאריתית, המבוססות על שכבות בינאריות (±1) ללא כפל מטריצות, סובלות מקואדפטציה בין-נתיבית – תופעה שבה נתיבים מקבילים לומדים תכונות מיותרות ומפחיתים את יכולת התיקון של השגיאות. חוקרים מציגים את RaBiT, מסגרת קוונטיזציה חדשה שמבטלת בעיה זו על ידי אכיפת היררכיה שאריתית.
RaBiT פועלת על ידי יצירת כל נתיב בינארי רציף ממשקל מדויק משותף אחד, כך שכל נתיב מתקן בדיוק את השגיאה של הקודם לו. תהליך זה מיוצב על ידי התחלה חזקה ששומרת על תפקודיות ולא רק על קירוב משקלים. בניגוד לשיטות קודמות שמסתמכות על פתרונות עקיפים כמו הקפאת נתיבים, RaBiT מאפשרת מרחב פתרונות רחב יותר ומשפרת את הביטוי של המודל.
לפי הדיווח, RaBiT מגדירה מחדש את גבולות הדיוק-יעילות ב-2 ביט: היא משיגה ביצועים ברמת האמנות, מתחרה בשיטות קוונטיזציה וקטוריאלית (VQ) הדורשות חומרה מתקדמת, ומספקת האצת השפלה פי 4.49 לעומת מודלים במדיוק מלא על כרטיס RTX 4090.
השיטה מציעה פתרון פרקטי להפעלת LLM בסביבות מוגבלות חומרה, כמו שרתים מקומיים או התקנים קצה, ומפחיתה את התלות במעבדים ייעודיים יקרים. בהשוואה לשיטות אחרות, RaBiT מצטיינת בשמירה על מבנה תיקון שגיאות, מה שחיוני ליישומים עסקיים הדורשים דיוק גבוה כמו עיבוד שפה טבעית.
עבור מנהלי עסקים ישראלים בתחום הטכנולוגיה, RaBiT מבטיחה פריסה מהירה יותר של AI, חיסכון בעלויות תפעול ויכולת תחרות גבוהה יותר. השיטה מדגישה את החשיבות של חדשנות באלגוריתמים על פני חומרה בלבד. כיצד תשלבו זאת במודלים שלכם?