בעולם הפיננסי שבו כל החלטה חייבת להיות ניתנת לשחזור לצורך ביקורות רגולטוריות, סוכני LLM נכשלים לעיתים קרובות בשחזור תוצאות זהות עם אותם קלטים. מחקר חדש מ-arXiv מציג את מסגרת הבטחת הדטרמיניזם-נאמנות (DFAH), כלי חדשני למדידת יציבות מסלולים ונאמנות מבוססת-ראיות בסוכנים המשתמשים בכלים בשירותים פיננסיים. המחקר בדק 74 תצורות של 12 מודלים מ-4 ספקים, ומגלה תובנות מפתיעות על קשר בין דטרמיניזם ליכולת. (72 מילים)
בניסויים בסיסיים ללא סוכנים, מודלים בגודל 7-20 מיליארד פרמטרים השיגו 100% דטרמיניזם, בעוד מודלים גדולים מעל 120 מיליארד דרשו דגימות אימות גדולות פי 3.7 להשגת אמינות סטטיסטית דומה. שימוש בכלים בסוכנים מוסיף שונות נוספת, כפי שמוצג בטבלאות 4-7. לפי המחקר, אין קונפליקט בין אמינות ליכולת – להיפך, נמצאה מתאם חיובי של Pearson (r=0.45, p<0.01, n=51) בין דטרמיניזם לנאמנות. (92 מילים)
המחקר מספק שלושה ביצועי בדק פיננסיים חדשים: מיון ציות, אילוצי תיק השקעות וחריגות DataOps, עם 50 מקרים בכל אחד. לצד זאת, זמין מארגן בדיקות מתח בקוד פתוח. מודלים מדרגה ראשונה עם ארכיטקטורות מבוססות-סקמה השיגו רמות דטרמיניזם התואמות דרישות שחזור ביקורת. ניסויים נערכו בטמפרטורה 0.0 עם 8-24 הרצות לכל תצורה. (85 מילים)
משמעות הממצאים גדולה לעסקים פיננסיים בישראל ובכלל: סוכני AI חייבים להיות אמינים כדי לעמוד בתקנות כמו GDPR או חוקי בנק ישראל. DFAH מאפשרת בדיקה שיטתית של יציבות, ומפתיעה בכך שהיא מראה כי מודלים מתקדמים יכולים להיות גם עקביים יותר. בהשוואה למודלים קטנים, הגדולים דורשים משאבים רבים יותר לבדיקה, אך מציעים נאמנות גבוהה יותר לראיות. (82 מילים)
למנהלי טכנולוגיה בפיננסים, המסגרת מציעה דרך להטמיע סוכני LLM בבטחה, תוך צמצום סיכונים רגולטוריים. עם קוד פתוח וביצועי בדק, ארגונים יכולים להתחיל לבדוק מודלים מיידית. השאלה היא: האם זה ישנה את אופן הפריסה של AI בפיננסים? קראו את המחקר המלא ב-arXiv כדי להעריך את ההשלכות לעסק שלכם. (68 מילים)