AREX Feed Article
Google 计划在 robots.txt 支持 AIPREF 共享 AI 训练控制：站点退出训练且未单独指明 Google-Extended 时按禁止处理
2026 年 10 月 30 日，Google 在 宣布，计划在 robots.txt 中支持一种共享的 AI 训练控制，其基础是互联网工程任务组（IETF）AI Preferences（AIPREF）工作组的成果：网站所有者今后可以用一条共享的 policy token（策略标记），向参与机制的 AI 提供商一次性表达训练偏好，不必再为每家 AI 开发商分别维护指令。
落到 Google 产品上的关键规则是：当站点用 policy token 选择退出训练、而 robots.txt 中没有显式指定 Google-Extended 时，Google 计划将其视同发布者已禁止 Google-Extended。现有的公司专属控制继续与这条联合信号并行生效；显式允许 Google-Extended 的站点，仍有资格出现在 Gemini Apps 的 grounding（把生成的回答与网页来源挂钩并附引用链接）响应中获得点击。Google 表示，目标是 2027 年与其他 AI 提供商一同支持该控制。同一天，OpenAI、微软 Bing 与 Anthropic 也分别宣布跟进这一信号。 当天汇总了四家的公告。
一条 policy token：不新增语法，写进现有 robots.txt
具体写法定义在 IETF 的一份 （互联网草案）里：网站运营者在 User-Agent 行填入专用标记 __usage_ai-training，其下照常写规则。草案给出的示例是：
User-Agent: __usage_ai-trainingDisallow: /Allow: /press-kit/含义是全站表达反对 AI 训练的偏好，仅在 /press-kit/ 目录内表达支持。路径匹配沿用 RFC 9309（robots.txt 标准「机器人排除协议」）的最长匹配优先级，不新增指令名，也不改动 robots.txt 的组结构。
几条边界草案写得很死：通配符组 User-Agent: * 不得被解读为匹配 policy token；文件里没有这个标记的组，就等于什么偏好都没表达——按草案作者的说法，当前已发布的所有 robots.txt 都属于此类，含义不变。policy token 表达的是使用偏好而非抓取指令，两者相互独立；不支持该机制的解析器会把它当作一个不认识的 user-agent 组原样忽略，其余信号照常接收。其他 AI 提供商可以用类似方式解读同一信号，站点既可以一次性向所有参与提供商退出，也可以逐家挑选。
先表达宽泛选择，再对单个开发商调整指令
Google-Extended 是 Google 自 2023 年起提供的 AI 训练控制。按公告说明，站点可以用共享信号表达宽泛选择，同时通过 Google-Extended 之类的控制，针对 Google 这样的单个开发商调整指令。
时间点上，Google 博客未给出更细的月份。据 Search Engine Roundtable 报道，Google 已在其 common crawlers 爬虫文档页面加注：Google 有意支持 AIPREF 共享机器可读训练偏好信号（即 user-agent: __usage_ai-training），时间为 2027 年初。
草案仍是个人提交，IETF 共识未到
被 Google 点名参考的草案是 draft-kelley-aipref-training-preference-signal-00，署名作者为 Anthropic 的 K. Kelley（Kevin Kelley），落款 2026 年 10 月 30 日，2027 年 5 月 3 日到期。IETF 文档库在该草案页面顶部标注：这是一份个人 Internet-Draft，未经 IETF 背书，在 IETF 标准流程中没有正式地位。
policy token 的含义直接取自工作组词汇草案 （Paul Keller 与 Martin Thomson 起草，2026 年 9 月更新，2027 年 3 月 18 日到期）。其中「AI 训练」被定义为：用素材修改生成式 AI 模型的学习参数；专门用于非生成任务的模型训练不算在内，即使该模型也具备生成能力。词汇草案同时声明，它不保证偏好得到遵守——是否遵从由接收方自行决定——正文还带有「内容未反映工作组共识」的标注。
Kelley 同日在 发帖宣布草案时称，Anthropic 已开始为这份草案实现支持，是对现有爬虫控制的补充而非替代；他也提醒，随着标准演进，这些信号的解读和应用方式可能变化。草案致谢名单显示，工作组讨论的参与者包括来自 Google、微软、OpenAI、Anthropic、News Corp、BBC 等机构的个人（IETF 参与以个人身份进行，机构仅作标识），工作组主席为 Cloudflare 的 Mark Nottingham 与 Cisco 的 Suresh Krishnan。
OpenAI、Bing、Anthropic 同日表态，落地时间各不相同
同日宣布将遵守 robots.txt 中的共享信号，目标「在未来几个月内」实现，届时再公布实现细节；其现有爬虫控制继续适用并继续被尊重，公司还呼吁其他 AI 提供商遵守该信号。
微软的动作更细。首席产品经理 Krishna Madhavan 发文称，微软与行业同行一起宣布共享 AI 训练偏好，并在此基础上加了一套更细的偏好：共享的 AI Training 偏好可被页面级设置覆盖；独立的 AI Grounding 偏好中，新增的 DisallowExtended 可以把 grounding 限定在微软自营体验（如 AI Mode、AI Overview、Copilot 与 Microsoft 365）内，排除其提供给第三方的 grounding 服务。时间线上：2026 年 12 月 15 日起，使用旧 NoArchive/NoCache 指令的站点可在 Bing 站长工具设置过渡性 grounding 偏好；2027 年 2 月 1 日起新偏好随抓取生效；旧指令用户须在 2027 年 3 月 1 日前完成迁移；过渡偏好最迟于 2027 年 9 月 30 日失效。微软同时警告，选择 Disallow 或 DisallowExtended 会明显降低内容在 AI 生成体验中的可见性，但不影响进入 Bing 传统搜索结果；微软并称自己在 2023 年率先以 NoArchive/NoCache 标签提供此类发布者控制。
Anthropic 的进展则由草案作者本人公布：Kelley 在邮件列表帖中称，Anthropic 已开始为这份草案实现支持。
监管口径一致，工作组内部争议仍在
Google 在公告中称，该提案与欧盟《AI 法案》下通用人工智能（GPAI）模型提供者行为准则一致，并称该准则将 robots.txt 认可为网络发布者表达机器可读偏好的主要方法；提案回应了出版商、公民社会团体和监管机构对行业级 AI 训练控制的呼吁。Google 还向 Search Engine Roundtable 表示，此举是与同行 AI 提供商共同推进，作为「培育开放、创作者优先的网络生态这一共同承诺的一部分」。
草案致谢名单上的 Nate Hake（Travel Lemming）在 X 上给出了更审慎的评价：他说自己过去一年深度参与这个工作组，「IETF 层面还没做完，仍有一些重大争议领域」；他对当前草案不满的一点是，偏好基本上不适用于用户主动发起的任何使用，「这伤害了正被 AI 抄袭复制品刷屏的艺术家和创作者」。他同时说，整个过程总体富有成效，而且「还没结束」。Vanessa Fox 则在公告当天发帖称，她已更新自己的检测工具，加入对新 user-agent 的识别。
目前各家的落地时间并不重合：OpenAI 只承诺「未来几个月」，微软定在 2027 年 2 月 1 日，Google 的博客写到 2027 年、其爬虫文档注释则写着「2027 年初」。而 Google 计划采纳的这份草案，在 IETF 文档库里仍是那份未经 IETF 背书的个人 Internet-Draft，其依据的词汇也尚未形成工作组共识。