클라우드플레어, AI 스크레이퍼로부터 웹사이트 보호에 나서다

Cloudflare는 고객의 웹사이트에서 콘텐츠를 수집하는 AI 봇의 스크래핑을 방지하기 위해 새로운 무료 도구를 출시했습니다. 이 도구는 무료 요금제를 포함한 모든 고객이 사용할 수 있습니다. "이 기능은 새로운 봇 지문을 식별함에 따라 지속적으로 업데이트될 것입니다."라고 회사는 밝혔습니다.

최근 블로그 게시물에서 Cloudflare는 콘텐츠 스크래핑 봇의 급증에 대한 고객들의 반응을 공유했습니다. 내부 데이터에 따르면, 85.2%의 고객이 자신을 정확히 식별하는 AI 봇의 접근도 차단하기로 결정했습니다.

Cloudflare는 지난 1년 동안 가장 활발한 봇도 강조했습니다. Bytedance가 소유한 Bytespider 봇은 Cloudflare의 보호를 받는 웹사이트의 40%에 접근을 시도했고, OpenAI의 GPTBot은 35%의 사이트에 접근을 시도했습니다. 이 두 봇은 Amazonbot 및 ClaudeBot과 함께 상위 4개의 AI 크롤러에 포함되었습니다.

AI 봇을 일관되게 효과적으로 차단하는 것은 여전히 도전 과제입니다. 모델을 더 빠르게 개발하려는 경쟁은 일부 기업이 스크래퍼 접근을 규제하는 기존 규칙을 우회하거나 위반하도록 이끌었습니다. 최근 Perplexity AI는 적절한 허가 없이 콘텐츠를 스크래핑했다는 혐의에 직면했습니다. Cloudflare의 이 문제 해결에 대한 노력은 효과적인 결과를 가져올 수 있습니다.

"일부 AI 기업이 탐지를 피하기 위한 전략을 계속 조정할 가능성이 우려됩니다."라고 회사는 밝혔습니다. "우리는 경계를 유지하고 AI 스크레이퍼와 크롤러 규칙을 강화하며, 콘텐츠 제작자가 자신의 콘텐츠를 훈련이나 추론에 어떻게 사용하는지에 대한 통제권을 유지할 수 있도록 머신러닝 모델을 지속적으로 발전시킬 것입니다."

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles