vLLM

חברת גוגל (Google) השיקה את DiffusionGemma, מודל קוד פתוח ניסיוני מבוסס טכנולוגיית דיפוזיית טקסט המציע מהירות יצירת טקסט הגבוהה פי 4 בהשוואה למודלים אוטו-רגרסיביים מסורתיים. המודל, המבוסס על סדרת Gemma 4, משלב ארכיטקטורת Mixture of Experts (MoE) עם 26 מיליארד פרמטרים (מתוכם 3.8 מיליארד פעילים בהסקה) ומעבד פסקאות שלמות במקביל במקום מילה אחר מילה. תכונה זו פותרת את צווארי הבקבוק של חומרת קצה ומאפשרת ביצועים של מעל 1,000 אסימונים בשנייה על כרטיסי מסך ארגוניים. עבור עסקים בישראל, פריצת דרך זו מאפשרת הרצת יישומי בינה מלאכותית מקומיים ומאובטחים לחלוטין התואמים את חוק הגנת הפרטיות, ללא תלות בענן ציבורי.

גוגל דיפמיינד (Google DeepMind) השיקה את Gemma 4 12B, מודל בינה מלאכותית פתוח ומולטי-מודאלי המיועד להרצה מקומית על מחשבים ניידים עם זיכרון של 16GB בלבד. המודל החדש מציג ארכיטקטורה חדשנית נטולת מקודדים (Encoder-free), המאפשרת עיבוד ישיר ומהיר של קלט חזותי וקולי בתוך מודל השפה ללא תוספת השהיה או זיכרון. עם ביצועים המתקרבים למודלים הגדולים בהרבה ומעל 150 מיליון הורדות למשפחת המודלים כולה, גוגל מנגישה יכולות עיבוד מתקדמות וסוכני AI אוטונומיים לחומרה מקומית יומיומית, ברישיון קוד פתוח חופשי (Apache 2.0).

**Google Cloud Next 2026 מסמן מעבר מהייפ סביב מודלים למיקוד עסקי בסוכני AI.** לפי הדיווח, Google הקצתה 750 מיליון דולר כדי לעזור לשותפים למכור AI agents לארגונים, כולל מימון ל-proof-of-concept, קרדיטי ענן ומהנדסים מלווים. זה חשוב לעסקים בישראל כי השאלה כבר אינה איזה מודל הכי מרשים, אלא איזה פתרון מתחבר ל-WhatsApp, ל-CRM ולתהליכים קיימים. הלקח המעשי ברור: להתחיל בפיילוט ממוקד של 2-4 שבועות, למדוד KPI אחד כמו זמן תגובה או המרת לידים, ולחבר את המערכת ל-Zoho CRM ו-N8N לפני הרחבה. בענפים כמו נדל"ן, ביטוח ומרפאות, זה יכול להפוך פניות לא מובנות לתהליך מכירה ושירות מדיד.

**Gemma 4 הוא דור חדש של מודלים פתוחים מגוגל, שנועד להסקה מתקדמת, סוכנים אוטונומיים והרצה מקומית על חומרה נגישה.** לפי גוגל, המשפחה כוללת 4 דגמים, חלון הקשר של עד 256K, תמיכה ב-140+ שפות ורישיון Apache 2.0. עבור עסקים בישראל, החשיבות איננה רק בביצועי המודל אלא ביכולת לחבר אותו לתהליכים אמיתיים: קבלת פניות ב-WhatsApp, חילוץ נתונים ב-JSON, עדכון Zoho CRM ותזמור ב-N8N. הענפים שיכולים להרוויח ראשונים הם משרדי עורכי דין, מרפאות, ביטוח ונדל"ן — במיוחד במקרים שבהם פרטיות, עברית מקצועית וזמני תגובה קצרים חשובים יותר מגישה בלעדית לענן.

**ספקולטיב דיקודינג עם Hidden State הוא גישה שממחזרת חישוב שנכשל במקום לזרוק אותו, ובכך עשויה להאיץ מודלי שפה גדולים עד פי 3.3 לפי מאמר חדש ב-arXiv.** עבור עסקים ישראליים, המשמעות אינה רק טכנית: אם מנועי inference יהפכו יעילים יותר, אפשר יהיה לקצר זמני תגובה ב-WhatsApp, להפעיל יותר שיחות על אותה תשתית, ולחבר AI בצורה כלכלית יותר ל-Zoho CRM ול-N8N. חשוב לזכור שמדובר כרגע במחקר ולא במוצר מסחרי זמין, אבל הכיוון ברור: התחרות ב-AI תעבור יותר ויותר דרך עלות וזמן תגובה, לא רק דרך איכות המודל.

סטארט-אפ ההסקה Inferact גייס 150 מיליון דולר בשווי 800 מיליון להמרצת vLLM. קראו על המגמה החדשה בתשתיות AI. קראו עכשיו המלא.

בעידן שבו עלויות ההסקה של מודלי AI מהוות חלק ניכר מעלויות השרתים, RadixArk מציגה פתרון מהפכני. קראו עכשיו על הסטארט-אפ החדש בשווי 400 מיליון דולר.

FlashInfer-Bench מציגה מסגרת סגורה לשילוב קרנלי GPU שנוצרו על ידי LLM במערכות ייצור. קראו על הכלים החדשים לבנצ'מרק והפריסה.