בעידן שבו מודלי שפה גדולים כמו GPT צורכים משאבים עצומים, חברות טכנולוגיה מחפשות דרכים לייעל את תהליכי השליפה והיצירה המוגברת (RAG). אולם, מסמכים משולפים לעיתים קרובות מכילים מידע לא רלוונטי או מטעה, מה שגורם לדחיסה אבסטרקטיבית – שיטה המשתמשת במודלים קטנים יותר לכיווץ ההקשר – להשמיט פרטים חיוניים. מחקר חדש מ-arXiv מציג את ACoRN, שיטה שמתמודדת עם "רעש" זה ומשפרת את הביצועים. השיטה מחלקת מסמכים באופן מדויק יותר ומשלבת שני שלבי אימון חדשניים.
הבעיה המרכזית בדחיסה אבסטרקטיבית היא פיזור תשומת הלב בקשרים ארוכים והטיה עמדתית, שמובילים להשמטת מידע מפתח. החוקרים מזהים שני סוגי רעש עיקריים: מידע לא רלוונטי ומידע שגוי עובדתית, למרות ציוני רלוונטיות גבוהים. ACoRN פותרת זאת באמצעות הרחבת נתוני האימון באופן לא מקוון (offline data augmentation), שמחזקת את העמידות בפני שני סוגי הרעש. כך, המודל לומד לזהות ולסנן רעש טוב יותר, מבלי להמציא עובדות.
בשלב השני, מבצעים כוונון עדין (finetuning) שמתמקד ביצירת סיכומים סביב מידע מפתח התומך ישירות בתשובה הנכונה. הדחיסה מבוססת מודל שפה אינה מנצלת היטב מידע ממספר מסמכים, אך ACoRN מתקנת זאת על ידי התמקדות בפרטים חיוניים. בניסויים עם T5-large, השיטה שיפרה משמעותית את ציוני EM ו-F1, תוך שמירה על מחרוזת התשובה המדויקת שיכולה לשמש כראיה ישירה.
המשמעות העסקית גדולה: ב-RAG יישומים כמו צ'אטבוטים עסקיים או מנועי חיפוש פנימיים, רעש בשליפה עלול להוביל להחלטות שגויות יקרות. ACoRN מאפשרת שימוש במודלים קטנים יותר להפחתת עלויות חישוב, תוך שמירה על דיוק גבוה יותר בסביבות ריאליות עם מסמכים רבים מפחיתי דיוק. עבור חברות ישראליות בתחום ה-AI, כמו סטארט-אפים במודלי שפה, זהו כלי פרקטי לייעול.
לסיכום, ACoRN מסמנת קפיצה קדימה בדחיסה אבסטרקטיבית עמידה לרעש, במיוחד במקרים עם מסמכים רבים בעלי השפעה שלילית על הדיוק. מנהלי טכנולוגיה צריכים לשקול אימוץ שיטות כאלה כדי לשפר את יעילות ה-RAG. האם השיטה תהפוך לסטנדרט בתעשייה?