Cloudflare Responde: Protegendo Sites contra Scrapers de IA

A Cloudflare lançou uma nova ferramenta gratuita destinada a impedir que bots de IA extraíam conteúdo dos sites de seus clientes para treinamento de grandes modelos de linguagem. Esta ferramenta agora está disponível para todos os clientes, incluindo os que possuem planos gratuitos. "Este recurso será atualizado continuamente à medida que identificamos novas impressões digitais de bots que realizam extração em larga escala", afirmou a empresa.

Em uma postagem recente em seu blog, a Cloudflare compartilhou insights sobre as respostas de seus clientes ao aumento dos bots de extração de conteúdo. Dados internos revelam que 85,2% dos clientes optaram por bloquear até mesmo os bots de IA que se identificam corretamente ao tentar acessar seus sites.

A Cloudflare também destacou os bots mais ativos no último ano. O bot Bytespider, da Bytedance, tentou acessar 40% dos sites protegidos pela Cloudflare, enquanto o GPTBot, da OpenAI, tentou acesso em 35% dos sites. Esses dois bots figuraram entre os quatro principais crawlers de IA, ao lado do Amazonbot e do ClaudeBot.

Bloquear bots de IA de maneira consistente e eficaz continua sendo um desafio. A corrida para desenvolver modelos mais rapidamente levou algumas empresas a contornar ou violar as regras existentes sobre o acesso de scrapers. Recentemente, a Perplexity AI enfrentou acusações de extração de conteúdo sem as devidas permissões. O compromisso da Cloudflare em abordar essa questão pode trazer resultados eficazes.

"Estamos preocupados que algumas empresas de IA possam continuar adaptando suas estratégias para evadir a detecção", observou a empresa. "Continuaremos vigilantes e melhoraremos nossas regras de Scrapers e Crawlers de IA, evoluindo nossos modelos de aprendizado de máquina para garantir que a Internet permaneça um espaço onde criadores de conteúdo possam prosperar e manter o controle sobre como seu conteúdo é utilizado para treinamento ou inferência."