מחקר
6 דקות
מ־arXiv cs.AI
ScaleBITS לכימות LLM מתחת ל-4 ביט: חיפוש ביטווידת אוטומטי
**ScaleBITS היא מסגרת לכימות משקלים במודלי שפה גדולים שמקצה אוטומטית ביטווידת לכל בלוק תחת תקציב זיכרון, תוך התאמה לחומרה.** לפי המאמר (arXiv:2602.17698v1), השיטה מציגה שיפור עד 36% לעומת כימות אחיד ועד 13% מול שיטות רגישות אחרות במשטר “מתחת ל‑4 ביט בממוצע” — ומדגישה שאין תקורת ריצה נוספת. לעסקים בישראל זה רלוונטי כשמריצים LLM כחלק מתהליך שירות/מכירות: WhatsApp Business API → ניסוח תשובה בעברית → עדכון Zoho CRM → אוטומציה ב‑N8N. כימות יעיל יכול להקטין VRAM ועלויות GPU, לאפשר הרצה על תשתית צנועה יותר, ולשפר שליטה בנתונים כשנמנעים משליחת מידע רגיש לענן.
קרא עוד