2026 年 7 月 1 日，Cloudflare 在第二个「内容独立日」（Content Independence Day）公布新的爬虫管理规则：从 9 月 15 日起，新接入域名中显示广告的页面，将默认拦截训练和 Agent 类爬虫。对同时承担搜索与训练用途的爬虫，系统会按站点适用的最严格规则处理，搜索抓取也可能一并被挡住。
这些规则会在 Cloudflare 网络上执行，网站主可以调整自己的设置。Cloudflare 表示，全球超过 20% 的网站域名位于其网络之后，因此这项默认设置的变化可能影响大量站点。
按用途分开管理：搜索、代用户操作和模型训练
Cloudflare 正在为网站主增加按爬取用途设置权限的选项。2025 年第一个内容独立日时，网站主已可使用「Block AI Bots」设置，拦截单一训练用途的爬虫。一年后，问题变得更复杂：网站主不想被 AI 无偿抓取，但也不愿因此失去搜索流量。
Cloudflare 的新分类体系将 AI 爬虫按行为拆成三种：
| 分类 | 行为 | 典型 bot |
|---|---|---|
| Search | 索引内容以回答查询，应带来推荐流量 | 搜索引擎爬虫 |
| Agent | 实时代表用户执行任务 | ChatGPT-User、Gemini/Claude 驱动 Chrome |
| Training | 抓取内容训练或微调模型 | 训练数据爬虫 |
Cloudflare 希望网站主能够分别管理这三种行为。如果一个公司同时做搜索、Agent 和训练，Cloudflare「强烈建议」将其拆成三个独立爬虫。
新域名采用更严格的默认设置，多用途爬虫受站点规则约束
从 2026 年 9 月 15 日起，两条默认规则将生效：
规则一：对新接入 Cloudflare 的域名，Training 和 Agent 爬虫在显示广告的页面上默认屏蔽，Search 默认允许。Cloudflare 的逻辑是：「广告意味着网站主希望真人到达并看到它——那是可货币化的东西，是业务的燃料。」
规则二：多用途爬虫将按最严格的规则执行。 如果一个爬虫同时承担 Search 和 Training 任务，而网站主屏蔽了 Training，那么该爬虫将被整体屏蔽——包括它的 Search 功能。
Cloudflare 官方博客明确点名了三家公司：「multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training。」
Cloudflare 将 Googlebot 等列为多用途爬虫，因此选择拦截 Training 的站点可能同时挡住搜索抓取。Google 已提供 Google-Extended，让网站主声明是否允许内容用于 Gemini 等产品的训练和部分检索用途，这一设置不影响普通搜索收录；但它是内容使用控制标记，并非独立发出请求的爬虫。Cloudflare 此次要求的是在抓取和访问控制层面区分用途。网站主也可以在 9 月 15 日前调整设置，选择不采用这项多用途爬虫默认规则。
Cloudflare 数据显示，训练抓取增多，重复请求也占据带宽
Cloudflare 的公告和同期研究提到两组数据：
- Cloudflare 表示，非人类流量已超过人类流量，比其此前预期更早。这是该公司基于自身观测作出的判断。
- 在其统计的良性爬虫流量中，超过 50% 的请求用于重新抓取未变化的页面，消耗了网站的带宽和计算资源。
Cloudflare 同期发布的《Content Independence Day 年度报告》显示，在它按用途识别的爬虫请求中，AI 训练占比从 2025 年春季的 22% 升至 2026 年 6 月的 52%。混合搜索、Agent 和训练用途的爬虫，则让网站主更难分别授权。
TechCrunch 报道中，Prince 对 Google 的批评更加直接：「全球最大搜索引擎」掌握的网页内容数据「大约是其他 AI 公司的两倍」，他认为，搜索抓取与 AI 使用之间的联系，让发布商很难单独作出选择。
从按次抓取收费，到按内容使用付费
除了拦截，Cloudflare 也在测试让内容创作者收费的机制。
Pay Per Crawl（按爬取付费） 于 2025 年以私测形式推出，使用 HTTP 402 Payment Required 状态码，告诉爬虫访问内容需要付费。
当 AI 爬虫请求付费内容时，Cloudflare 可返回 HTTP 402 及 crawler-price 标头，标明价格。爬虫可在重试时用 crawler-exact-price 接受定价，也可在首次请求时用 crawler-max-price 声明最高出价。Cloudflare 作为收款及结算主体，汇总账单事件，向爬虫收费并分配给发布商。
底层基于 Web Bot Auth 协议：爬虫用 Ed25519 密钥对签名请求，Cloudflare 在边缘节点验证身份。签名机制用于核验请求是否来自登记的运营方，降低爬虫身份被冒充的风险。
Pay Per Use（按使用付费） 正在与 Ceramic.ai 和 You.com 等伙伴试验。它探索按内容的实际使用情况付费，例如参加 Ceramic.ai 计划的发布商，可以在内容出现在搜索结果中时获得报酬。
Cloudflare 还公布了 Monetization Gateway 并开放候补名单。按计划，这项服务将允许网站主对网页、数据集、API 或 MCP 工具收费，通过 x402 开放协议以稳定币结算。
新目录和声明工具，帮助站长识别爬虫及其内容用途
配套工具覆盖爬虫查询、内容使用声明，以及代理链中的身份传递：
BotBase：面向 Enterprise Bot Management 客户的爬虫目录，展示已知爬虫、Verified（已验证）爬虫及其行为标签（Search/Agent/Training/Transact/Data Collection 等），可直接复制检测 ID 用于安全规则。
Content Signals 扩展：开始测试在 robots.txt 中加入 use 参数，值可选 immediate（不存储）、reference（索引、摘录和回链，托管 robots.txt 将加入这一偏好）或 full（总结和复现）。声明偏好，不直接阻断——但如果机器人滥用信号，将失去 Verified 状态。
传递信任（Transitive Trust）：Cloudflare 提议利用 RFC 7239 的 Forwarded 标头表示爬虫背后的实际运营者，支持多层代理场景。例如 Forwarded: for="openai";use="reference"。它希望网站主允许某个运营者访问的决定，能沿可信的中间代理传递；滥用权限的运营者也可能失去信任状态。这个方案仍处于试验阶段。
发布商多了访问控制手段，仍需权衡内容授权与搜索流量
Cloudflare 让内容授权偏好进一步落实为网络访问规则，网站主可以更直接地决定哪些爬虫能够抓取页面。
网站主原本就可以通过 robots.txt 表达抓取偏好，并与 AI 公司谈判授权。robots.txt 本身不会拦截请求；在爬虫混合多个用途时，网站主也较难既保留搜索流量，又分别控制其他用途。
9 月 15 日的新规会增加爬虫运营方区分用途的压力。对 Google 等公司来说，独立的爬虫身份可以让站点分别设置权限；若继续混用，同一爬虫就可能因其中一种用途受限而被挡住。对发布商而言，采用更严格的规则也可能影响搜索抓取，因此需要根据自己的收入来源和流量需求作出选择。
正如 Prince 所言：「现在互联网流量的大多数已非人类，我们必须走得更远、更快，才能让一个可持续的生态系统出现。」
到 9 月 15 日，可以观察 Google、Apple、微软是否调整爬虫，以及有多少网站选择启用或退出新默认设置。收费试验能否带来可持续收入，则需要更长时间检验。
