新方案用 robots.txt 的 User-Agent 标记表达 AI 训练偏好

服务运营者通过在以按用途划分的策略 token 作为键的 User-Agent 行中编写普通的 robots.txt 分组，将使用偏好（例如“禁止 AI 训练”）绑定到路径上。

User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/

图 1：一个策略 token 分组

这表示对所有路径（除 /press-kit/ 下的路径外）表达反对 AI 训练的偏好，而对 /press-kit/ 下的路径表达支持该用途的偏好（第 4.2 节）。

本文档不引入新的指令名称，也不引入新的语法；[ROBOTS] 中定义的路径语言、最长匹配优先级和分组结构均未改变。因此，互联网上部署的各种现有解析器将继续像以前一样解释流量管理信号，并会像对待任何它们无法识别的 user agent 分组一样，忽略策略 token 分组。

按路径绑定偏好。 偏好可以按路径表达，而不仅限于站点范围（第 4.2 节）。

与 RFC 9309 的最小距离。 语义以及理想情况下的语法尽可能贴近 [ROBOTS]，以便作者和实现者能够使用他们已经熟悉的心智模型。

无大规模重复。 robots.txt 文件有大小限制（[ROBOTS] 第 2.5 节），且一些已部署的文件已包含大量重复的分组。表达偏好无需重复陈述现有规则（第 4.1 节）。

旧有行为不变。 未实现此机制的解析器或消费者行为与之前相同。这不仅适用于理想化的 RFC 9309 解析器，也适用于实际部署的解析器。反之，实现者对待不使用此机制的文件的方式也与之前完全相同（第 4.2 节和第 4.3 节）。

跨消费者的一致解释。 此机制不依赖于已部署解析器行为中存在分歧的部分（第 4.1 节）。

本文档中的关键词 “MUST”、“MUST NOT”、“REQUIRED”、“SHALL”、“SHALL NOT”、“SHOULD”、“SHOULD NOT”、“RECOMMENDED”、“NOT RECOMMENDED”、“MAY” 和 “OPTIONAL” 仅在以此处所示的全大写形式出现时，才应按照 BCP 14 [RFC2119] [RFC8174] 中的描述进行解释。

运营 HTTP 服务（例如网站）并为其发布 robots.txt 文件的实体。对于通过此机制表达的偏好，服务运营者是“声明方”（[VOCAB] 第 2 节）。[ROBOTS] 将此方称为“服务所有者”。

解释服务运营者通过本文档定义的机制所表达偏好信号的实体。

在 [ROBOTS] 的意义上；指解析 robots.txt 文件并将产品 token 和路径与其规则进行匹配的软件。

一种产品 token（[ROBOTS] 第 2.2.1 节），其 RFC 9309 信号被消费者用来确定内容将如何被使用。策略 token 无需出现在任何出站请求的 User-Agent 头字段（[HTTP] 第 10.1.5 节）中。本文档引入了一个新的跨厂商策略 token（第 4.1 节）。

由单一消费者记录的策略 token。一些服务运营者已在其 robots.txt 文件中包含这些 token。

__usage_ai-training 策略 token 对应于 IETF aipref 工作组已达成的定义（[VOCAB] 第 4.1 节）。以下定义引用自该文档：

使用资产来修改生成式 AI 模型的学习参数。

专门用于执行非生成式任务的模型的训练不包含在此类别中，即使该模型具备生成式任务的能力。

用于以一种或多种模态生成合成内容的 AI 模型。或者，可供使用以一种或多种模态生成合成内容的 AI 模型。此定义不包含用于或可供用于分类、排序或打分的模型，即使该模型为其输出生成理由。

本文档按如下方式应用这些定义：

从路径检索到的内容。适用于资产的偏好是在检索该资产时生效的 robots.txt 文件中表达的偏好（[ROBOTS] 第 2.4 节；另见 [ATTACH]）。

本文档不定义并行词汇表；它跟踪 aipref 工作组的工作。实现者 SHOULD 考虑在 aipref 工作组于其他领域达成共识时更新其定义，并添加或删除词汇表术语。

本文档定义了策略 token __usage_ai-training。

该策略 token 符合 [ROBOTS] 第 2.2.1 节中的产品 token 语法（字母、_、-）。

消费者 MUST 像对待任何产品 token 一样，对策略 token 进行精确匹配（大小写除外）。（请注意，一些已部署的解析器匹配更为灵活；__ 前缀使意外匹配不太可能发生。）

单个分组 MAY 命名多个策略 token（连续的 User-Agent 行；[ROBOTS] 第 2.2 节），以将其规则绑定到多个用途。策略 token 和其他产品 token MAY 混合在一个分组中。

为确定是否已对给定路径表达偏好，消费者按照 [ROBOTS] 第 2.2.1 节和第 2.2.2 节的规定查找路径和策略 token 的组合。

然而，通配符分组（即 User-Agent: *）MUST NOT 被解释为匹配该策略 token。

如果查找发现该路径被禁止，则表示已对该路径表达了反对该策略 token 所描述用途的偏好。如果查找发现该路径被允许，则表示已表达了支持该用途的偏好。

如果没有任何分组包含 __usage_ai-training 策略 token（即文件中没有 User-Agent: __usage_ai-training 行），则表示未表达任何偏好。如果此类文件包含专有策略 token，消费者 SHOULD 像在本文档不存在时那样解释该 token，但 MUST NOT 将其视为在本文档上下文中表达偏好（见第 4.5 节）。

消费者 MUST 基于以下内容解释所表达的 RFC 9309 信号：

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）