AI Pref
也称 __usage_ai-training / AI Preferences
AI Pref（AI Training Preference Signal）在 robots.txt 里用策略令牌 `__usage_ai-training` 一次表达站点内容是否可用于生成式 AI 训练的偏好，供多家厂商共同解读。
如何理解
该机制沿用 robots.txt 的分组与路径匹配语法，不新增指令名：站点用 `User-Agent: __usage_ai-training` 配 `Disallow` / `Allow`，对指定路径声明反对或允许用于生成式模型训练。通配组 `User-Agent: *` 不会匹配该令牌；没有该组则表示未表态。
它与爬虫流量管理相互独立：既有按 GPTBot、Google-Extended 等专有令牌写的规则继续生效。OpenAI、Google、微软、Anthropic 等已宣布将支持这一共享信号，落地时间表各不相同，生效前仍以各家爬虫文档为准。
容易混淆的地方
写入该信号不等于立刻被所有厂商遵守，也不自动撤销既有抓取或搜索收录。它只表达训练用途偏好；若要限制爬取，仍需对具体爬虫产品令牌单独写规则，并以各厂商公布的生效日为准。