Cloudflare 公开炮轰 Perplexity:用隐形爬虫偷数据,故意绕过 robots.txt,公然违背君子协定

摘要

Perplexity被Cloudflare指控使用隐蔽的幽灵爬虫,规避网站爬取禁令,窃取内容。Cloudflare通过实验证实,Perplexity的爬虫伪装成普通用户,绕过robots.txt和WAF封锁,获取被禁止访问的网站数据。这种行为违反了互联网爬虫的君子协定,引发对AI时代数据所有权和内容创作者权益的广泛讨论。OpenAI则被作为正面典型,展示如何合规抓取数据。

欢迎在评论区写下你对这篇文章的看法。

评论

首页 - Wiki
Copyright © 2011-2025 iteam. Current version is 2.144.1. UTC+08:00, 2025-08-05 14:07
浙ICP备14020137号-1 $访客地图$