מהם פרמטרים? הסבר על 'הלב' של מודלי שפה גדולים

מה הם פרמטרים במודלי שפה גדולים (LLMs)? זו שאלה ששווה לבחון לעומק, במיוחד בעידן שבו מודלים כאלה משנים את עולם העסקים והטכנולוגיה. GPT-3 של OpenAI, ששוחרר ב-2020, כלל 175 מיליארד פרמטרים – כמו כדורי פינבול ענקיים שמסלוליהם נקבעים על ידי מיליארדי מתגים. פרמטרים אלה הם ה'ידיות והמתגים' ששולטים בהתנהגות המודל, ומאפשרים לו לייצר תשובות מדויקות ומפתיעות. במאמר זה נפרק את הנושא צעד אחר צעד.

פרמטר הוא ערך מתמטי בסיסי, כמו במשוואה אלגברית פשוטה כגון 2a + b, שם a ו-b הם פרמטרים שמקבלים ערכים כדי לייצר תוצאה. במודלי שפה גדולים, פרמטרים פועלים בקנה מידה עצום ומגדירים את הפלט של המודל. לפי הדיווח, חברות כמו OpenAI ו-Google DeepMind כבר הגיעו למודלים עם טריליוני פרמטרים, כמו Gemini 3 שמכיל לפחות טריליון – ואולי אף 7 טריליון.

איך מקבלים הפרמטרים את הערכים שלהם? בתהליך האימון, כל פרמטר מתחיל בערך אקראי. אלגוריתם בודק שגיאות, ומתקן את הערכים באופן איטרטיבי. זה קורה מיליוני פעמים, עד שהמודל מתנהג כפי שרוצים היוצרים. אימון GPT-3 דרש קוודריליוני חישובים (15 ספרות אפס), אלפי מחשבים מיוחדים פועלים חודשים שלמים, וצורך אנרגיה עצומה.

יש שלושה סוגי פרמטרים עיקריים: הטבעות, משקלים והטיות. הטבעות הן ייצוגים מתמטיים של מילים או טוקנים מהאוצר של המודל, שמכיל מאות אלפי פריטים. במהלך האימון, כל מילה מקבלת רשימת מספרים – לרוב 4,096 ממדים – שמתארים את משמעותה בהקשר למילים אחרות. מספר זה, שהוא כוח של 2, מאזן בין יכולת ליעילות.

מודלים גדולים יותר, כמו GPT-4.5 עם יותר מ-10 טריליון פרמטרים, לוכדים ניואנסים עדינים כמו רמזים רגשיים. המילים ממוקמות במרחב רב-ממדי, כאשר מילים דומות קרובות זו לזו. משקלים קובעים את חוזק החיבורים בין חלקי המודל, ומטפלים בהקשרים ספציפיים. הטיות משנים ספים כדי ללכוד מידע חלש יותר, כמו הגברת קולות שקטים בחדר רועש.

נורונים אינם פרמטרים אלא מכלים לארגון: כל נורון מחזיק הטיה אחת ומשקלים לכל הממדים. במודל כמו GPT-3 יש כ-100 שכבות עם עשרות אלפי נורונים בכל אחת. הטקסט עובר שכבות, מתעדכן על ידי משקלים והטיות, עד שמחושב המילה הבאה – תוך דירוג כל אוצר המילים.

מעצבי מודלים מגדירים גם היפר-פרמטרים כמו טמפרטורה, top-p ו-top-k, ששולטים ביצירתיות: טמפרטורה גבוהה מייצרת תוצאות מפתיעות, נמוכה – מדויקות יותר. מודלים קטנים מתחרים בגדולים באמצעות נתוני אימון רבים יותר, אימון יתר, זיקוק (distillation) או תערובת מומחים (mixture of experts), שמפעילה רק חלקים רלוונטיים.

לסיכום, פרמטרים הם המפתח להצלחת מודלי שפה גדולים, אך הגידול במספרם מאבד מיעילותו. מנהלי עסקים צריכים לשאול: כמה פרמטרים מספיקים לנו? האם כדאי להשקיע במודלים קטנים יעילים? ההתקדמות הזו מבטיחה כלים חכמים יותר לעסקים ישראליים.