בעידן שבו מודלי שפה גדולים (LLM) מניעים יישומים עסקיים רבים, עולה השאלה: האם אימון עדין של מודלים מאומנים מראש בטוח באמת? מחקר חדש מ-arXiv חושף כי פגיעויות ג'יילברייק – פריצות שמאלצות את המודל לייצר תוכן אסור – מועברות ישירות מהמודל המאומן מראש לגרסאות המאומנות עדין. החוקרים בדקו תרחיש מציאותי שבו התוקף יודע את המודל המקורי לעומק (גישה לבן-קופסה), אך רק גישה שחורת-קופסה לגרסאות המאומנות. התוצאות? הנחיות עוינות שפותחו על המודל המקורי עוברות ביעילות גבוהה לגרסאות השונות. (72 מילים)
המחקר בוחן את העברת הפגיעויות הללו דרך ניתוח ייצוגים פנימיים. באמצעות בדיקת מצבים נסתרים (hidden states) במודל המאומן מראש, גילו החוקרים כי ההנחיות העוינות הניתנות להעברה הן נפרדות ליניארית. כלומר, הפגיעות הטמונה במודלים אלו מקודדת ישירות בייצוגים הפנימיים שלהם. תובנה זו מובילה להצעה של מתקפת Probe-Guided Projection (PGP), שמנחה את האופטימיזציה לכיוונים רלוונטיים להעברה. המתקפה הזו משפרת משמעותית את יעילות הפריצה על פני גרסאות מאומנות עדין שונות. לפי הדיווח, PGP מצליחה יותר ממתקפות סטנדרטיות. (98 מילים)
בניסויים שנערכו על משפחות LLM שונות, כולל משימות אימון עדין מגוונות, אושר כי PGP משיגה הצלחה גבוהה בהעברת התקפות ג'יילברייק. זה מדגיש את הסיכונים הביטחוניים המובנים בתהליך הפרה-אימון לאימון עדין. חברות שמשתמשות במודלים כאלו חשופות לסיכון אם המודל המקורי דלף או נחשף. החוקרים מדגישים כי גם אם האימון העדין מיועד לשפר ביצועים, הוא אינו מטשטש את הפגיעויות הבסיסיות. (82 מילים)
בהקשר עסקי ישראלי, שוק ה-AI צומח במהירות עם השקעות רבות בסטארט-אפים. פגיעויות כאלו עלולות לפגוע באמון לקוחות וביישומי AI קריטיים כמו צ'טבוטים פיננסיים או ניתוח נתונים. בהשוואה לחלופות, מודלים סגורים כמו GPT-4 נחשבים בטוחים יותר, אך מודלים פתוחים כגון Llama חשופים יותר. המחקר קורא לפיתוח מנגנוני הגנה חדשים שיבדקו ייצוגים פנימיים. (78 מילים)
מה המשמעות לעסקים? על מנהלי טכנולוגיה לבחון את שרשרת האספקה של המודלים שלהם ולשקול כלים לזיהוי העברת פגיעויות. PGP מדגימה כיצד תוקפים יכולים לנצל חשיפה של מודל אחד כדי לפרוץ למערכות רבות. השאלה היא: האם תעשיית ה-AI מוכנה להתמודד עם סיכונים כאלו? (68 מילים)