Cloudflare 反擊:保護網站免受 AI 抓取工具的侵害

Cloudflare 最近推出了一款全新的免費工具,旨在防止 AI 機器人從其客戶網站刮取內容,以用於訓練大型語言模型。這項工具現已向所有客戶開放,包括免費方案的用戶。該公司表示:「這項功能將持續更新,以應對新出現的廣泛刮取的機器人指紋。」

在最近的部落格文章中,Cloudflare 分享了其客戶對內容刮取機器人激增的反應。內部數據顯示,有 85.2% 的客戶選擇阻止即便是能準確識別自身的 AI 機器人進入他們的網站。

Cloudflare 也指出過去一年中最活躍的機器人。由 Bytedance 擁有的 Bytespider 嘗試訪問 40% 受保護網站,而 OpenAI 的 GPTBot 則在 35% 的網站上嘗試進入。這兩個機器人在 AI 爬蟲中位列前四,與 Amazonbot 和 ClaudeBot 並名。

有效且持續地阻止 AI 機器人仍然是一大挑戰。隨著模型開發的速度加快,一些公司開始繞過或違反現行規則,以獲得刮取訪問權限。最近,Perplexity AI 就被指控在未經授權的情況下刮取內容。Cloudflare 對解決這一問題的承諾可能會帶來有效成果。

該公司表示:「我們擔心某些 AI 公司可能會持續調整他們的策略從而逃避檢測。我們將保持警惕,加強我們的 AI 刮取和爬蟲規則,不斷發展我們的機器學習模型,以確保互聯網成為一個內容創作者能夠繁榮、並掌控其內容用於訓練或推測方式的空間。」

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles