Cloudflareは、新しい無料ツールを導入しました。このツールは、AIボットがクライアントのウェブサイトからデータをスクレイピングし、大規模な言語モデルのトレーニングに使用するのを防ぐためのものです。現在、このツールは無料プランを含むすべての顧客が利用可能です。「新たに広がるボットの指紋を特定することで、この機能は継続的に更新されます」と同社は述べています。
最近のブログ記事では、Cloudflareが顧客の反応について詳述しました。内部データによると、顧客の85.2%が、自らを正確に識別するAIボットのアクセスもブロックすることを選択しました。
また、Cloudflareは過去一年間で最も活動的なボットについても言及しました。Bytedanceが所有するBytespiderボットは、Cloudflareの保護を受けるウェブサイトの40%にアクセスしようとし、OpenAIのGPTBotは35%のサイトにアクセスを試みました。この2つのボットは、AmazonbotやClaudeBotと共に、最も活動的なAIクローラーの上位4つにランクインしています。
AIボットを一貫して効果的にブロックすることは依然として課題となっています。モデルの開発が加速する中、一部の企業は既存のスクレイパーアクセスのルールを無視したり、侵害したりすることがあります。最近、Perplexity AIは無許可でコンテンツをスクレイピングしたとの非難を受けました。Cloudflareのこの問題への取り組みは、効果的な結果をもたらす可能性があります。
「一部のAI企業が検出を回避するために戦略を適応し続けることを懸念しています」と同社は述べています。「私たちは警戒を続け、AIスクレイパーやクローラーのルールを強化し、機械学習モデルを進化させることで、コンテンツ制作者が Thrive し、そのコンテンツの使用方法を制御できるインターネット環境を確保します。」