10 月 30 日，OpenAI、Google 与微软同日宣布：将尊重 robots.txt 里一条共用的 AI 训练偏好信号。同一天，Anthropic 技术标准负责人 Kevin Kelley 向 IETF 提交个人草案 draft-kelley-aipref-training-preference-signal-00，把这条信号写成 policy token __usage_ai-training。站点不必再给 GPTBot、Google-Extended 等逐个写规则，就能向参与方表达「要不要拿网页去训生成式模型」。
这件事的张力在时间表上。四家核心厂商公开站到同一侧，但真正开始遵守的时间从「未来数月」拉到 2027 年；草案也还不是正式标准。出版方现在能写进 robots.txt 的，更多是一份被多家口头认领的偏好，而不是已经上线的统一开关。
一条令牌写清「能不能拿去训」
草案没有发明新的 robots.txt 语法。站点仍然用熟悉的 User-Agent、Disallow、Allow 分组，只是把 User-Agent 写成 __usage_ai-training。草案示例是：全站禁止训练，唯独放行 /press-kit/。
含义跟爬虫名单不同。草案写明，这个令牌表达的是用途偏好，不是爬取指令；消费者仍按各自产品 token（例如自家爬虫名）解释流量管理规则。没有写 __usage_ai-training 分组，就等于没表达这份偏好；User-Agent: * 的通配组也不得当作命中该令牌。私有协议可以覆盖它。
「AI Training」跟 IETF aipref 工作组词汇草案对齐：用一份资源去修改生成式模型的已学参数。只做分类、排序等非生成任务的训练，不落在这个范畴里。
各家什么时候真的开始认
公开承诺的落地节奏并不齐：
- OpenAI：目标在「未来数月」内实现；现有 GPTBot 等 crawler 控件继续有效，共用信号不取代它们。
- Google：目标在 2027 年支持。若站点用共用令牌退出训练、又没有单独写明 Google-Extended，Google 计划按禁止 Google-Extended 来理解；专有控件仍可并存。允许 Google-Extended 的站点，仍有资格出现在 Gemini Apps 的 grounding 回答并获得点击。
- 微软：自 2027 年 2 月 1 日起，在爬取时开始遵守新偏好；并要求仍使用旧标签
NoArchive/NoCache的站点，在 2027 年 3 月 1 日前迁到新设置，否则旧标签不再被读作训练或 grounding 偏好。 - Anthropic：The Verge 称其已采用该信号；Kelley 在工作组邮件列表里表示，在全公司服务上落地还需要时间。公司新闻室在本轮检索中未见同步稿。
The Verge 引 Meta 传播负责人 Andy Stone 称，打造面向多家提供商的共同信号「是重要一步」，并表示期待与业界合作；报道同时写明，Meta 没有说自己会遵守该设置。
微软把 grounding 拆成另一道开关
微软在共用训练偏好之外，单独加了页面级 AI Grounding 偏好：内容要不要用来辅助生成回答。可选 Allow、Disallow，以及 DisallowExtended——后者只允许在微软自营体验（如 AI Mode、AI Overview、Copilot、Microsoft 365）里做 grounding，排除它对外售卖的 grounding 服务。训练与 grounding 彼此独立；都不设置时，两者默认视为允许。
微软强调：这些偏好不改变页面进入必应传统搜索结果的资格，也不构成许可或付费安排。选 Disallow 或 DisallowExtended 会明显降低内容在 AI 生成体验里的曝光，但搜索排名资格按原规则走。
对站长来说，这意味着「拒训」和「拒被引用进回答」可以分开选；也意味着只写共用训练令牌，管不到微软这条 grounding 线。
还没写进正式标准的部分
Datatracker 把 Kelley 的文稿标为个人 Internet-Draft，有效期至 2027 年 5 月 3 日；它引用工作组的词汇草案，但本身不是工作组共识文件，也不是 RFC。Google 博文把提案放进多利益方讨论和欧盟 GPAI 行为准则语境，同时承认 AIPREF 其余词汇仍在谈。
专有控件不会立刻消失。OpenAI、Google 都写明：共用信号与 GPTBot、Google-Extended 等并行。站点若两边规则冲突，公开材料并未给出统一冲突解决表——OpenAI 博文和爬虫文档（截至 10 月 30 日相关报道核对）都没有写清「共用令牌 vs GPTBot」打架时以谁为准。
本轮也没有看到独立审计：有多少站点已写入该令牌、各家爬虫是否已按承诺过滤。能确认的是同日宣布与草案文本；不能确认的是生产环境已统一生效。
对负责 robots.txt 的人，眼前可执行的动作是：先按草案语法写好偏好，同时保留仍在生效的专有控件；再按各家时间表盯 2027 年前的迁移窗口，尤其是微软的旧标签截止日期。更大的未决项仍是执法与合同——偏好信号降低了「写规则」的成本，并不自动解决许可、报酬或违约问题。
