בעידן שבו מודלי שפה גדולים (LLM) דורשים כמויות עצומות של זיכרון GPU להסקה ארוכת טווח, חוקרים מציגים את ASR-KF-EGR – מסגרת חדשה ליעילות ללא צורך באימון. השיטה מציעה מנגנון הפסקה רכה ומתקנת של עדכוני KV עבור אסימונים חסרי חשיבות נמוכה בתוך חלון תשומת לב נע. בניגוד לשיטות פינוי קבועות, ASR-KF-EGR שומרת את כל האסימונים באחסון מחוץ ל-GPU ומחזירה אותם לפי דרישה, ומבטיחה גמישות מלאה.
המנגנון מבוסס על זיהוי אסימונים בעלי חשיבות נמוכה באמצעות אנטרופיה, ומקפיא זמנית את עדכוני ה-KV שלהם. תהליך ההקפאה הוא הפיך לחלוטין, מה שמאפשר שחזור מיידי כאשר נדרש. בנוסף, השיטה כוללת תזמון הקפאה תת-ליניארי, שבו משך ההקפאה גדל באופן תת-ליניארי עם זיהויים חוזרים של חשיבות נמוכה, ומניעה דחיסה אגרסיבית מדי. גישה זו מבטיחה איזון בין חיסכון בזיכרון לבין שמירה על ביצועים.
בניסויים ראשוניים על מודל LLaMA-3 8B, השיטה השיגה צמצום של 55-67% בגודל המטמון הפעיל של KV, תוך שמירה על איכות יצירת הטקסט ועמידה בבדיקות needle-in-haystack. השיטה אינה תלויה בארכיטקטורה ספציפית, אינה דורשת כוונון עדין, ומספקת פתרון מעשי לפריסה מוגבלת זיכרון של LLM עם הקשרים ארוכים.
בהשוואה לשיטות פינוי קבועות, ASR-KF-EGR מציעה יתרון משמעותי בשמירה על כל ההקשר, מה שמפחית סיכונים לאובדן מידע קריטי. עבור עסקים ישראליים המפתחים יישומי AI, זו הזדמנות לייעל פריסות מקומיות של מודלים גדולים, להפחית עלויות GPU ולשפר זמני תגובה ביישומים כמו צ'טבוטים ועיבוד מסמכים ארוכים.
השיטה מדגישה את החשיבות של אופטימיזציות inference-time במודלי LLM, ומציעה כיוון חדש לפיתוח. מנהלי טכנולוגיה צריכים לשקול אינטגרציה של ASR-KF-EGR בפרויקטים עתידיים – האם זה הפתרון שיאפשר להם להריץ LLM ארוכי הקשר על חומרה זמינה? קראו את המאמר המלא ב-arXiv לפרטים נוספים.