Google 联合 OpenAI、Anthropic 等采纳新 robots.txt 指令，允许网站拒绝 AI 训练抓取

新的 robots.txt 指令将阻止这些公司抓取内容用于生成式 AI 训练。 tadamichi/Shutterstock 在 Google 上添加 Engadget： 首选来源 Google Discover Google、Anthropic、OpenAI 和 Microsoft 已承诺遵守一项新的 robots.txt 指令，该指令将允许出版商就其内容被用于生成式 AI 训练时的抓取行为表明偏好。这些公司决定采纳一项正在 IETF（互联网开放标准组织）审议的提案，该提案由 Anthropic 技术标准负责人 Kevin Kelley 撰写。 正如 OpenAI 和 Google 在各自公告中所解释的，网站所有者目前必须识别各个爬虫，并为每个提供商分别添加规则。Kelley 的提案将改变这一现状，让多家 AI 公司共同认可并遵守同一个通用信号。出版商需要在 robots.txt 文件中设置一个专门用于 AI 训练的新 user agent，形式如下： User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ 这将阻止专门用于为 AI 训练收集数据的爬虫。其中“Allow”部分让网站运营者可以选择允许为 AI 训练抓取页面的特定部分，例如页面上有新闻资料包的情况。但这个新的 user agent 部分并不会完全阻止抓取，也不会阻止内容出现在 Google 搜索中。例如，Google 会将其专门解读为针对“Google-Extended”user agent 的停止信号，该 user agent 负责抓取网站内容，用于训练 Gemini 模型。 另一点需要注意的是，该指令无法撤销这些公司已经完成的任何过往抓取。如果它们此前已经抓取过某个页面，它们就已经拥有该内容。这只能阻止它们在未来抓取网站或特定页面。Anthropic 已开始支持这项新指令，Microsoft 表示将于 2027 年 2 月 1 日开始支持。Google 也表示将于 2027 年初支持该指令，而 OpenAI 承诺将在未来几个月内实施这一新信号。