דחייה הופכת לקבלה: הפגיעות של שופטי LLM בביקורת מדעית

בעולם האקדמי שבו ביקורת עמיתים היא שער הכניסה לפרסום, דגמי שפה גדולים (LLM) משנים את חוקי המשחק. יותר ויותר בוחנים משתמשים בהם באופן אישי כדי להקל על העומס – תופעה שמכונה 'השערת הבוחן הרשלן'. במקביל, כנסים מובילים כמו AAAI ואוניברסיטת סטנפורד מפעילים מערכות שיפוט רשמיות מבוססות AI. אולם, מחקר חדש מזהיר: שופטי LLM אלו פגיעים להתקפות עוינות דרך מניפולציה בקבצי PDF, שיכולות להפוך דחייה לקבלה. המחקר, שפורסם ב-arXiv, בדק את עמידותן של מערכות 'LLM כשופט' – הן הבלתי חוקיות והן המוסדיות – להתקפות כאלו. החוקרים פיתחו מדד חדש בשם WAVS (Weighted Adversarial Vulnerability Score), שמודד את הסיכון להיפוך החלטות. הם אספו מאגר של 200 מאמרים מדעיים והתאימו 15 אסטרטגיות התקפה ספציפיות לתחום, ובחנו אותן על 13 דגמי שפה, כולל GPT-5, Claude Haiku ו-DeepSeek. תוצאות המחקר מדאיגות: אסטרטגיות הסתרה כמו 'Maximum Mark Magyk' הצליחו לשנות ציונים באופן משמעותי, והשיגו שיעורי היפוך החלטות גבוהים אפילו בדגמים הגדולים ביותר. זה מצביע על חולשה יסודית במערכות שיפוט מבוססות LLM, שמסתמכות על ניתוח טקסט ממקורות כמו PDF. המשמעות לבתי ספר אקדמיים ועורכי כנסים בישראל גדולה: עם עליית השימוש ב-AI לביקורת עמיתים, התקפות כאלו עלולות לפגוע באמינות התהליך. בהשוואה לשיטות מסורתיות, LLM מציעים מהירות ויעילות, אך חשופים יותר למניפולציות. החוקרים מדגישים את הצורך בשיפורים, כמו סינון טוב יותר של קלט PDF. המחקר משחרר את מאגר הנתונים ומסגרת ההזרקה לקהילה, כדי לקדם מחקר נוסף. עבור מנהלי מחקר ומנהלי כנסים, השאלה היא: האם ניתן לסמוך על שופטי LLM, או שיש לחזק הגנות נגד התקפות עוינות? זה זמן לבחון מחדש את האסטרטגיות.