בעידן שבו מודלי שפה גדולים (LLM) משמשים יותר ויותר לתמיכה נפשית, זיהוי מצבי סיכון גבוה כמו מחשבות אובדניות ופגיעה עצמית הופך לקריטי לבטיחות. אולם, הערכות קיימות מסתמכות על מדדי ביצועים כלליים שמסתירים כשלים ספציפיים לסיכונים. חוקרים מציגים את MHDash, פלטפורמה קוד פתוח שמאחדת איסוף נתונים, סימון מובנה, יצירת דיאלוגים רב-תוריים והערכה בסיסית. הכלי מאפשר ניתוח מדויק לפי סוג דאגה, רמת סיכון וכוונת דיאלוג.
MHDash תומכת בפיתוח, הערכה וביקורת מערכות AI ליישומי בריאות נפשית. היא משלבת צינור עבודה אחיד הכולל איסוף נתונים, סימון מרובה ממדים ויצירת שיחות רב-תוריות מציאותיות. החוקרים מדווחים על תוצאות ראשוניות: בסיסים פשוטים וממשקי LLM מתקדמים משיגים דיוק כללי דומה, אך מפגינים פער משמעותי במקרים בסיכון גבוה.
בדיקות חשפו כי חלק ממודלי ה-LLM שומרים על דירוג חומרה עקבי אך נכשלים בסיווג סיכון מוחלט, בעוד אחרים מצליחים במדדים כלליים אך סובלים משיעור גבוה של שגיאות שליליות כוזבות בקטגוריות חמורות. הפערים מתעצמים בשיחות רב-תוריות, שבהן אותות סיכון מתפתחים בהדרגה. תופעות אלה מדגישות את מגבלות הסטנדרטים הקיימים.
הפלטפורמה מדגישה את הצורך בהערכה ספציפית לסיכונים, במיוחד בתמיכה נפשית שבה כשל עלול להיות קטלני. בהשוואה לבנצ'מרקים מסורתיים, MHDash מספקת תובנות על התנהגות מודלים בשיחות אמיתיות, מה שמאפשר פיתוח בטוח יותר. בישראל, שבה נושאי בריאות נפשית הופכים למרכזיים, הכלי יכול לסייע בחיזוק מערכות תמיכה מקומיות.
שחרור MHDash כפלטפורמה פתוחה מקדם מחקר ניתן לשחזור, הערכה שקופה ופיתוח AI מותאם לבטיחות. מנהלי עסקים בתחום הבריאות צריכים לשקול אימוץ כלים כאלה כדי להבטיח אמינות. מה תפקיד ה-AI בתמיכה נפשית עתידית?