Cloudflare 公开炮轰 Perplexity:用隐形爬虫偷数据,故意绕过 robots.txt,公然违背君子协定
摘要
Perplexity被Cloudflare指控使用隐蔽的幽灵爬虫,规避网站爬取禁令,窃取内容。Cloudflare通过实验证实,Perplexity的爬虫伪装成普通用户,绕过robots.txt和WAF封锁,获取被禁止访问的网站数据。这种行为违反了互联网爬虫的君子协定,引发对AI时代数据所有权和内容创作者权益的广泛讨论。OpenAI则被作为正面典型,展示如何合规抓取数据。