牛透社 7 月 2 日消息，Cloudflare 推出颠覆性的 “按爬虫付费” 市场，允许网站所有者自主设置 AI 爬虫抓取费率，或选择免费开放 / 禁止访问，以此重塑与 AI 公司的内容交互模式。新功能基于其过去一年推出的 AI 爬虫拦截工具及监控系统开发，且所有新建网站将默认阻止 AI 爬虫，需手动授权方可抓取。

该模式直击新闻出版业痛点：在谷歌流量下滑与 AI 聊天机器人崛起的背景下，中小型出版者长期缺乏公平收益分配机制。Cloudflare 希望通过市场化定价，为内容创作者提供可持续收入来源，目前已获康泰纳仕等大型出版商支持。

数据显示，AI 爬虫抓取频率远超谷歌（如 OpenAI 需抓取 1700 次才带来 1 次推荐流量），严重冲击传统流量商业模式。平台未来还将探索 “AI Agent” 付费与稳定币交易，尽管落地仍面临挑战，但其构建 “许可制抓取” 生态的尝试已引发行业关注。