字节笔记本
2026年11月7日 · 约 4 分钟读完
纽约时报告 Brave：爬虫不肯报上名，300 亿页进了 AI
2026 年 11 月 2 日，《纽约时报》起诉 Brave——就是那个浏览器与 Brave Search 背后的公司；《每日新闻》《芝加哥论坛报》《奥兰多哨兵报》同日另案起诉。先划清口径：以下指控均为原告说法，未经法院认定；Brave 截至 本篇写作时未对两起诉讼作出回应。
指控（原告口径）
纽约时报称，Brave 复制了 300 亿以上网页，"未表明身份、未给网站主任何屏蔽其爬虫的机制"，随后把内容卖给 AI 公司；诉状还涉及绕过付费墙与 Brave 自带的 AI 问答功能 Ask Brave。
Brave 的索引生意
被告之外的背景是 Brave 的商业模式：Brave Search API 向 AI 公司出售索引访问权，Brave 官网自述索引"超过 300 亿页、每天新增数百万页"（这是 Brave 自己宣称的规模），列名的使用者包括 Cohere、Mistral、Perplexity、You.com；诉状点名的五家供货对象是 Anthropic、Perplexity、Mistral、xAI、Cohere——注意这五家都未被起诉。
关键机制：一个不报名的爬虫
整个案子的技术核心藏在 Brave 帮助页的一句话里（帮助页原话）：Brave 爬虫**"不使用有区分度的 User-Agent"**——它在网络上没有自己的名字。Brave 的理由是：有些网站只放行 Google，挂名的爬虫会被挡掉，所以它选择"遵守 Google 的规则"——Googlebot 能读的它才读。
这个设计的后果是致命的：网站无法只放行 Google 而挡掉 Brave，要么两个都放行，要么两个都挡。唯一的技术出路是 noindex 标签，但那会同时让 Google 把该页下架。robots.txt 这套体系运转了几十年，前提是爬虫"报上名"才管得住——一个不报名的爬虫，让整套君子协定失去了执行对象。这才是这篇诉讼真正值得开发者琢磨的地方，而不是"大媒体又告 AI 公司"的瓜。
Claude 的关联：只有间接证据链
这几条都是间接证据，不能写成定论：2023 年 Brave 发帖称 Anthropic 用其索引训练 Claude 2；2025 年 3 月 Anthropic 把 Brave Search 列入分包商名单（TechCrunch 报道）；同一周 Simon Willison 测试发现 Claude 回答鹈鹕问题时引用的 10 条结果与 Brave 搜索结果完全一致。作者本人也未能确认 Claude 现在是否还在用 Brave。
背景
这场纠纷早有铺垫：News Corp 先发 cease-and-desist；Brave 反手先起诉，主张"索引是搜索引擎必须做的事"；2026 年 7 月 News Corp 反诉，称 Brave 隐藏爬虫致出版商无法发现或屏蔽（Semafor 报道）。HN 上这条新闻只有 7 分，但它的判例价值可能远超热度：如果法院认定"匿名爬虫+卖索引"构成侵权，所有"借 Google 的名头爬页面再卖数据"的模式都要重新评估。
