أعلنت Cloudflare عن إطلاق أداة جديدة مجانية تهدف إلى منع الروبوتات الذكية من سحب محتوى مواقع عملائها لاستخدامه في تدريب نماذج اللغة الكبيرة. هذه الأداة متاحة الآن لجميع العملاء، بما في ذلك أصحاب الخطط المجانية. وأشارت الشركة إلى أن "هذه الميزة ستستمر في التحديث مع تحديد بصمات جديدة للروبوتات المشاركة في عمليات السحب بشكل واسع".
في منشور مدونة حديث، شاركت Cloudflare رؤى حول ردود فعل عملائها تجاه الزيادة في الروبوتات التي تسحب المحتوى. تكشف البيانات الداخلية أن 85.2% من العملاء اختاروا حظر الروبوتات الذكية، حتى تلك التي تتعرف على نفسها بدقة، من الوصول إلى مواقعهم.
كما سلطت Cloudflare الضوء على أكثر الروبوتات نشاطًا خلال العام الماضي. حاول روبوت Bytespider، المملوك لشركة Bytedance، الوصول إلى 40% من المواقع المحمية بواسطة Cloudflare، بينما حاول GPTBot التابع لـ OpenAI الوصول إلى 35%. وكانت هذين الروبوتين من بين الأربعة الأوائل من المتصفحات الذكية بجانب Amazonbot وClaudeBot.
يبقى حظر الروبوتات الذكية بشكل فعال ومنتظم تحديًا. وقد أدى السباق نحو تطوير النماذج بشكل أسرع إلى تجاوز بعض الشركات أو انتهاك القواعد الحالية التي تنظم وصول الروبوتات. مؤخرًا، واجهت شركة Perplexity AI اتهامات بسحب المحتوى دون الحصول على الأذونات اللازمة. قد تثمر التزام Cloudflare بمعالجة هذه القضية عن نتائج فعالة.
وأوضحت الشركة: "نحن قلقون من أن بعض شركات الذكاء الاصطناعي قد تستمر في تعديل استراتيجياتها لتجنب الكشف". وأضافت: "سنستمر في اليقظة وتعزيز قواعدنا المتعلقة بالروبوتات السليمة، مع تطوير نماذج التعلم الآلي لدينا لضمان استمرار الإنترنت كمساحة يمكن لمبدعي المحتوى الازدهار فيها والحفاظ على السيطرة على كيفية استخدام محتواهم في التدريب أو الاستدلال".