Cloudflare 公开炮轰 Perplexity：用隐形爬虫偷数据，故意绕过 robots.txt，公然违背君子协定

Cloudflare 公开炮轰 Perplexity：用隐形爬虫偷数据，故意绕过 robots.txt，公然违背君子协定

摘要

Perplexity被Cloudflare指控使用隐蔽的幽灵爬虫，规避网站爬取禁令，窃取内容。Cloudflare通过实验证实，Perplexity的爬虫伪装成普通用户，绕过robots.txt和WAF封锁，获取被禁止访问的网站数据。这种行为违反了互联网爬虫的君子协定，引发对AI时代数据所有权和内容创作者权益的广泛讨论。OpenAI则被作为正面典型，展示如何合规抓取数据。