בעידן שבו מערכות AI סוכניות מבטיחות מהפכה בעיבוד שפה טבעית, הן סובלות מבעיה נסתרת: בנייה חוזרת של לוגיקה ביניים זהה, כמו נרמול מדדים או תמיכת גרפים, גם כשהניסוח משתנה לחלוטין. שמירת מטמון מסורתית נכשלת כי היא רואה את ההסקה כקופסה שחורה אחת. SemanticALLI, ארכיטקטורה חדשה בפלטפורמת Alli של PMG, פותרת זאת על ידי פירוק התהליך לשני שלבים: פתרון כוונת ניתוח (AIR) וסינתוזת ויזואליזציה (VS). כך, ייצוגים ביניים מובנים הופכים לישויות שניתן לשמור במטמון.
SemanticALLI הופכת את הלוגיקה הביניים לקבצים ניתנים לשימוש חוזר. במקום להפעיל דגמי שפה גדולים (LLM) בכל שאילתה, המערכת מזהה דפוסים יציבים בשלבים מובנים. לפי המחקר, שמירת מטמון מונוליתית מגיעה ל-38.7% בלבד בגלל שונות לשונית. לעומת זאת, SemanticALLI מוסיפה שלב סינתוז ויזואליזציה ומשיגה 83.10% הצלחה, חוסכת 4,023 קריאות LLM עם זמן תגובה ממוצע של 2.66 מילישניות.
השפעה זו משמעותית במיוחד בפלטפורמת Alli, שמתמקדת באינטליגנציה שיווקית. על ידי שמירת IRs (ייצוגים ביניים) כישויות ראשונות, המערכת מפחיתה צריכת טוקנים ומאיצה תהליכים. זה מלמד שכאשר משתמשים לא חוזרים על עצמם, הצינור הפנימי כן חוזר – בנקודות יציבות שבהן שמירת מטמון אמינה ביותר.
לעסקים ישראלים בתחום השיווק והטכנולוגיה, SemanticALLI מדגימה כיצד אופטימיזציה פנימית יכולה להוזיל עלויות AI. בהשוואה למתחרים, הגישה הזו מאפשרת קנה מידה גדול יותר ללא עלייה פרופורציונלית בעלויות. בישראל, שבה חברות כמו PMG משלבות AI בשיווק, זו הזדמנות ליישם טכניקות דומות בפלטפורמות מקומיות.
הלקח המרכזי: עיצוב מערכות AI צריך להתמקד בשמירת חשיבה, לא רק בתשובות. מנהלי טכנולוגיה צריכים לשקול פירוק תהליכים לשלבים מובנים. האם הפלטפורמה שלכם מבזבזת מחשוב על חזרות מיותרות?