SoundBreak: התקפות קוליות עוינות משבשות מודלי AI רב-מודליים

בעידן שבו מודלי AI רב-מודליים כובשים את התחום ומשלבים אודיו, וידאו ושפה להשגת תוצאות מרשימות במשימות חשיבה ויצירה, עולה השאלה: האם הם עמידים בפני מניפולציות עוינות? מחקר חדש בשם SoundBreak חושף פגיעות קריטית להתקפות עוינות קוליות בלבד על מודלים טרימודליים כאלה. החוקרים בדקו תרחיש מציאותי של התקפות לא מכוונות, ומצאו כי שינויים זעירים באודיו גורמים לכשל מוחלט במערכת כולה. זהו איום שלא נחקר דיו, שמאיים על יישומים עסקיים רבים. המחקר ניתח שישה יעדים משלימים להתקפות: ייצוגי קודן האודיו, תשומת לב חוצת-מודלים, מצבים נסתרים והסתברויות הפלט. על פני שלושה מודלים מתקדמים ובנצ'מרקים מרובים, התקפות קוליות בלבד השיגו שיעור הצלחה של עד 96%. הפרעות אלה הצליחו בעיוותים נמוכים מאוד מבחינה תפיסתית – LPIPS מתחת ל-0.08 ו-SI-SNR מעל 0 – מה שהופך אותן למסוכנות במיוחד. בניגוד לציפיות, אופטימיזציה ממושכת הייתה יעילה יותר מהגדלת היקף הנתונים. התקפות אלה מדגימות משטח התקפה חדש-ישן: מודל אחד בלבד מספיק כדי לשבש את כל המערכת הרב-מודלית. מערכות זיהוי דיבור כמו Whisper הגיבו בעיקר לעוצמת ההפרעה, עם הצלחה של למעלה מ-97% בעיוותים חמורים. לעומת זאת, העברת ההתקפות בין מודלים שונים ובין קודני אודיו הייתה מוגבלת, מה שמצביע על אתגרים בהכללה. משמעות הממצאים גדולה לעסקים ישראליים הפועלים עם מודלי AI רב-מודליים, כמו כאלה המשמשים בשירות לקוחות, ניתוח וידאו או עוזרים חכמים. הפגיעות הזו חושפת סיכון שלא נלקח בחשבון, במיוחד כשאודיו זמין בקלות באפליקציות. בהשוואה להתקפות ויזואליות מוכרות יותר, התקפות קוליות קשות יותר לזיהוי אנושי, ומחייבות התייחסות מיוחדת. החוקרים קוראים לפתח הגנות המחייבות עקביות חוצת-מודלים, כדי לשפר את העמידות. עבור מנהלי טכנולוגיה, זהו אות להתחיל לבדוק את המערכות שלהם בפני איומים כאלה. האם מודלי ה-AI שלכם מוכנים להתקפות קוליות?