08月
05日
Cloudflare 指控 Perplexity 违规抓取数据,涉单日数百万次请求规避反爬机制
牛透社 8 月 4 日消息,互联网基础设施提供商 Cloudflare 指控人工智能初创公司 Perplexity 涉嫌通过技术手段突破网站反爬取限制。其技术团队发现该公司单日实施数百万次请求,覆盖数万个设置 robots.txt 禁止抓取的网站域名,并通过变更爬虫数字指纹、伪造浏览器特征等技术规避追踪。
Perplexity 发言人否认指控,称涉事爬虫与其公司无关。Cloudflare 表示已通过多重技术审计验证违规行为,并计划推出 AI 爬虫付费访问市场。Perplexity 作为依赖海量网络数据训练模型的 AI 公司,此前曾因剽窃指控引发争议。