Cloudflare противодействует: Защита сайтов от ИИ-скребков

Cloudflare представил новый бесплатный инструмент, предназначенный для предотвращения сканирования сайтов его клиентов AI-ботами с целью извлечения контента для обучения крупных языковых моделей. Теперь этот инструмент доступен всем клиентам, включая пользователей бесплатных тарифов. "Эта функция будет постоянно обновляться по мере выявления новых отпечатков ботов, активно занимающихся сканированием," — заявила компания.

В недавнем блоге Cloudflare поделилась отзывами клиентов о росте числа ботов, занимающихся извлечением контента. Внутренние данные показывают, что 85.2% клиентов выбрали блокировку даже тех AI-ботов, которые точно идентифицируют себя и пытаются получить доступ к их сайтам.

Cloudflare также подчеркнула самые активные боты за прошедший год. Бот Bytespider, принадлежащий Bytedance, попытался получить доступ к 40% веб-сайтов под защитой Cloudflare, в то время как GPTBot от OpenAI попытался получить доступ к 35% сайтов. Эти два бота вошли в топ-четырёх AI-пауков наряду с Amazonbot и ClaudeBot.

Постоянная и эффективная блокировка AI-ботов остается сложной задачей. Соревнование по более быстрому развитию моделей заставляет некоторые компании обходить существующие правила доступа для сканеров. Недавно Perplexity AI столкнулась с обвинениями в извлечении контента без разрешений. Обязательство Cloudflare решать эту проблему может принести эффективные результаты.

"Мы беспокоимся, что некоторые компании в сфере AI могут продолжить адаптировать свои стратегии, чтобы избежать обнаружения," — отметила компания. "Мы будем сохранять бдительность и улучшать наши правила по блокировке AI-сканеров и пауков, развивая наши модели машинного обучения, чтобы интернет оставался пространством, где создатели контента могут процветать и контролировать, как их контент используется для обучения или вывода."