בעולם שבו כוונון מודלי שפה גדולים (LLM) דורש משאבים עצומים, חוקרים מציגים את GRIT – שיטת PEFT מתקדמת שמשנה את חוקי המשחק. בניגוד ל-LoRA ול-QLoRA הרגילות, שמתעלמות מגיאומטריית הפונקציית ההפסד, GRIT משלבת preconditioning של הגרדיאנטים בעזרת K-FAC, re-projection לכיווני עקמומיות דומיננטיים ומתאימה דינמית את הדרגה. התוצאה? חיסכון ממוצע של 46% בפרמטרים הניתנים לכוונון, ללא פגיעה באיכות. (72 מילים)
GRIT שומרת על פרמטריזציית LoRA המוכרת, אך מוסיפה שכבות של מודעות לגיאומטריה. ראשית, היא משתמשת ב-K-FAC כפרוקסי ל-gradient טבעי במרחב הדרגה הנמוך. שנית, היא מבצעת re-projection תקופתי של הבסיס הדרגתי לכיווני העקמומיות העיקריים של Fisher, מה שמפחית סטייה בכיוונים חלשים. שלישית, היא מתאימה את הדרגה האפקטיבית על פי הספקטרום, ומתמקדת באזורים עם אות חזק. שיפורים אלה מונעים ניפוח תקציב העדכונים ומשפרים את היציבות. (92 מילים)
בבדיקות על בסיס LLaMA, GRIT מתעלה על LoRA ו-QLoRA במשימות מעקב אחר הוראות, הבנת טקסט והיגיון. היא מפחיתה את מספר הפרמטרים הניתנים לכוונון ב-25-80% בין משימות שונות, תוך שמירה על ביצועים זהים או טובים יותר. החוקרים מדווחים על גבול טוב יותר בין עדכונים לשימור, בהשוואה לבסליינים כמו Orthogonal-LoRA, IA3, DoRA, Eff-FT ו-Shampoo. GRIT גם מציגה מודל שכחה מותאם עקמומיות, שמאפשר חיזוי טוב יותר של שימור ידע. (88 מילים)
מדוע זה משנה? כוונון יעיל פרמטרים הוא המפתח להתאמה אישית של LLM בעלויות נמוכות יותר, במיוחד לעסקים ישראליים שמשלבים AI בפעילות היומיומית. GRIT מתמודדת עם בעיות מוכרות כמו סטייה מיותרת וחוסר יעילות, ומאפשרת כוונון מהיר יותר עם פחות משאבי חישוב. בהשוואה לשיטות קודמות, היא מציעה פרונטייר טוב יותר של ביצועים מול שימור, מה שקריטי ליישומים עסקיים כמו צ'טבוטים מותאמים או ניתוח נתונים. (82 מילים)
למנהלי עסקים ומהנדסי AI, GRIT פותחת אפשרויות חדשות לחיסכון בעלויות כוונון תוך שיפור אמינות. עם הפחתת פרמטרים משמעותית, ארגונים יכולים להפעיל מודלים גדולים על חומרה סטנדרטית יותר. השאלה היא: האם GRIT תהפוך לסטנדרט הבא ב-PEFT? קראו את המאמר המלא ב-arXiv כדי לבדוק בעצמכם. (68 מילים)