בעידן שבו האינטרנט נועד בעיקר לבני אדם, בוטים של AI כבר הופכים לכוכבים עיקריים. דוח חדש של TollBit, לצד נתונים מ-Akamai ששיתפה עם WIRED, מראה שבוטים אלה מהווים נתח משמעותי מתעבורת האינטרנט. הם לא רק אוספים נתונים לאימון מודלים, אלא גם מביאים מידע בזמן אמת לצ'טבוטים. המגמה הזו מצביעה על מהפכה שתשנה את פני הרשת.
TollBit מדווחת כי ברבעון הרביעי של 2025, אחד מכל 50 ביקורים באתרי הלקוחות שלה הגיע מבוט גרידת AI – עלייה פי ארבעה מהרבעון הראשון של אותה שנה, שבו היה זה אחד מכל 200. יותר מ-13% מבקשות הבוטים התעלמו מקובץ robots.txt, עלייה של 400% לעומת הרבעון השני. החברה מציינת גם עלייה של 336% באתרים שמנסים לחסום בוטים של AI.
בוטים אלה מתקדמים במהירות ומשתמשים בטקטיקות מתוחכמות כדי לעקוף הגנות. חלקם מתחזים לדפדפנים רגילים או מחקים התנהגות אנושית, עד שקשה להבחין בינם לבין גולשים אמיתיים. "הרוב המוחלט של האינטרנט יהיה תעבורת בוטים בעתיד", אומר טושיט פנגראהי, מייסד שותף ומנכ"ל TollBit. החברה מציעה כלים לגבות תשלום מגוררים כאלה, וגם Cloudflare מספקת פתרונות דומים.
המגמה משפיעה על כל מי שמסתמך על תעבורה אנושית, החל ממו"לים ועד עסקים. WIRED מדווחת כי חברות כמו Condé Nast תובעות חברות AI על הפרת זכויות יוצרים באימון מודלים מגרידת אתרים. במקביל, עולה גם גרידה לשיפור תגובות AI בזמן אמת, כמו מחירי מוצרים או חדשות עדכניות. רוברט בלומופה, סמנכ"ל הטכנולוגיה של Akamai, מציין: "AI משנה את האינטרנט כפי שאנו מכירים אותו".
חברות גרידה כמו Bright Data, ScrapingBee ו-Oxylabs מגיבות כי הן מכבדות גבולות ומשתמשות בנתונים ציבוריים בלבד. Bright Data נתבעה בעבר על ידי Meta ו-X, אך התביעות נדחו או בוטלו. ScrapingBee טוענת שהאינטרנט הציבורי נועד להיות נגיש למכונות. עם זאת, מו"לים מגבירים הגנות, וחברות כמו TollBit מדווחות על מרוץ חימוש מתמשך.
התופעה יוצרת הזדמנויות עסקיות חדשות. יותר מ-40 חברות משווקות בוטים לגרידה לאימון AI או שימושים אחרים. כלים כמו OpenClaw מגבירים את הביקוש. אורי גפני, סמנכ"ל העסקים של Brandlight, מדבר על 'אופטימיזציה למנועי יצירה' (GEO) – אסטרטגיה שמקדמת תוכן בפלטפורמות AI במקום לחסום אותן. "זה ערוץ שיווק חדש שיתעצם ב-2026", הוא אומר.
עבור מנהלי עסקים בישראל, המגמה הזו משמעותית: אתרים מקומיים חשופים לגרידה, מה שעלול לפגוע בהכנסות מפרסום. חברות ישראליות כמו Cloudflare כבר מציעות פתרונות, ויש צורך במדיניות חדשה להחלפת ערך בין מכונות. מו"לים צריכים לשקול כלים כמו אלה של TollBit כדי להפיק רווח מגרידה.
האם האינטרנט יהפוך למקום של מכונות? עכשיו הזמן לבדוק הגנות באתר שלכם ולשקול אסטרטגיות GEO כדי להישאר רלוונטיים.