TurboQuant של גוגל: דחיסת זיכרון ל-AI שיכולה להוזיל אינפרנס
**TurboQuant הוא אלגוריתם דחיסת זיכרון של Google Research שמיועד לצמצם את זיכרון העבודה של מודלי AI בזמן אינפרנס, ולפי החברה יכול להפחית את ה-KV cache בלפחות פי 6 בלי לפגוע בדיוק.** כרגע מדובר בפריצת דרך מחקרית ולא במוצר פרוס, אבל המשמעות לעסקים בישראל ברורה: אם טכנולוגיות כאלה יאומצו אצל ספקי ענן ופלטפורמות AI, עלות הרצת צ'אטים, סיכומי שיחות וסוכני שירות עשויה לרדת. עבור עסקים שמחברים WhatsApp Business API, Zoho CRM, N8N וסוכני AI, זהו אות חשוב לבדוק כבר עכשיו עלויות אינפרנס, צריכת זיכרון ויכולת סקיילינג.
קרא עוד