AGI Daily
广告
AGI Daily跟踪世界 AGI 进展AGI INTELLIGENCE · DAILY
全部算力算法数据人物日报主题
AGI Daily
全部算力算法数据人物日报主题
广告

ChatGPT 发布后超三分之一网页带 AI 写作痕迹:Pew 的 49 万页测量

今天 · 共 2,512 字

Pew Research Center

8 月 20 日,皮尤研究中心(Pew Research Center)发布了一项把「互联网有多少内容由 AI 写」从猜测变成测量的研究:它从 Common Crawl 网页存档中,随机抽取 2021 年 1 月到 2026 年 7 月之间 49 次抓取快照、每次 1 万页,共 49 万页英文网页,用开源检测模型逐页打分。结论分两层:在 2026 年 7 月的快照里,全部网页约 10% 显示出显著的 AI 写作痕迹;把范围收窄到 ChatGPT 于 2022 年 11 月发布之后才上线的网页,这一比例升到超过三分之一(35%)。

一次可复现的测量,而不是又一个「检测工具」标题

「多少内容由 AI 写」此前大多停留在个案或厂商自述,Pew 这次把方法学讲到了可复现的程度。数据来自 Common Crawl——一个每月抓取一次可公开访问网页的非营利存档,付费墙或需登录的页面天然被欠采样。Pew 从 49 次快照中每次随机抽 1 万页,并同时取每页的 WARC 记录(完整 HTML)与 WET 文件(正文文本)。

检测用的是 Open Pangram,即 Pangram 的开源权重模型 editlens_Llama-3.2-3B:它给每页输出 0 到 1 的分数,0 表示纯人工、1 表示纯 AI,Pew 把 ≥0.2 判为存在「有意义的 AI 写作或编辑痕迹」——这意味着它捕捉的是「AI 写」和「被 AI 大幅改写」两类内容,而非只有完全生成。

真正让这套测量站得住的是交叉验证。Pew 把其中 62,370 页(来自 7 次快照)用商业版 Pangram 3.3 重跑一遍,两个模型在 96% 的案例里结论一致,Cohen's kappa 为 0.61。作者据此说明:结论不绑定某一个特定模型。他们也承认检测器是概率工具,对单页的判定不能当定论,但把它一致地套用在大规模样本上,足以追踪 AI 内容占比随时间的变化。

为什么「10%」和「35%」同时成立

两个数字并不矛盾,口径不同。10% 是「全网页」口径,里面混着大量 2022 年之前就存在、根本不可能由 AI 写的旧网页,所以它系统性地低估了「新内容」里 AI 的渗透。Pew 过滤掉旧页、只保留 ChatGPT 之后发布的页面后,得到 35%。

Pew 的随机样本可视化:每个点代表 2026 年 7 月快照中的一页,约 10% 显示显著 AI 写作痕迹

这里有一个必须讲清的方法学边界:只有约 10%–15% 的网页在 HTML 里带发布日期字段,所以 35% 严格说是「带发布日期的、ChatGPT 后上线内容」里的比例,而非全网。Pew 没有回避这一点,而是把它与另一项独立研究对照——Dolezal 等人用 Internet Archive 的 Wayback Machine 数据,发现到 2025 年中约 35% 的新发布网站被判定为 AI 生成或 AI 辅助。两条路径、两个数据源、两种检测方法落在同一个数字上,是这个 35% 最有力的旁证。

AI 写作不均匀:.com 是 .edu/.gov 的约 10 倍

域名分化是这项测量里最有信息量的发现。ChatGPT 刚发布时,AI 写作痕迹在 .com、.org、.edu、.gov 的分布还大致相当;到 2026 年,.com 域名的网页约一成(10%)显示 AI 痕迹,.org 为 4.6%,.edu 和 .gov 都只有约 1%——.com 是 .edu/.gov 的约 10 倍。

合理的解释是:.com 聚集了商业、营销与低门槛量产内容,最容易被 AI 接管;.edu 的学术与 .gov 的政府页面则有更强的审核与人力流程。也就是说,「互联网正在被 AI 淹没」是一个高度不均匀的现象,而非均匀的洪水——这为「哪些内容最容易被 AI 化」提供了一个可观测的结构。

Pew 还给出了 AI 写作习惯渗入公共文本的直接证据:每 1 万词中,破折号(em dash)从 2023 年 1 月的 5.79 次升到 2026 年 1 月的 11.19 次,牛津逗号从 34.04 升到 55.51,被其归为「AI 词汇」的用法从 11.94 升到 26.02,否定平行结构(如「不是 X,而是 Y」)从 0.87 升到 2.36。这些特征单独看不能证明某篇文本由 AI 写,但放在几十万页语料里,它们随时间单调上升,构成 AI 写作在大规模扩散的痕迹。

「35%」不等于「互联网正在崩坏」

TechCrunch 在报道里把 Pew 的数据与 Cloudflare 最近报告的「bot 流量首次超过人类流量」并置,概括为「机器人在读机器人写的内容」。这个画面容易滑向「死互联网理论」。但更精确的结论来自 Dolezal 等人的研究:他们用同样的检测思路,逐一检验了公众对「AI 文本污染互联网」的六种具体担忧,结果只有两条被数据支持。

  • 确认的是:语义收缩——AI 生成网站的语义相似度比非 AI 网站高 33%,即观点与表达在趋同;以及正向化——AI 生成内容的积极情绪分数比非 AI 高 107%,互联网的语气正变得更「阳光」、更亢奋。
  • 未确认的是:事实错误率上升(truth decay,ρ=−0.19,p=0.27)、外链减少(epistemic islands)、文本冗长(entropy dilution)、风格单一化(stylistic monoculture)——尽管调查里超过一半乃至 83% 的受访者相信这些都会发生。

这意味着两层结论应当分开。第一层是「量」:AI 写作确实在以可测量的速度占据新内容,35% 是一个有旁证的数字。第二层是「质」:目前没有统计证据表明它让互联网变得更虚假或更少引用来源,但它确实让公共文本更同质、更「塑料」。把这两层混为一谈,正是「AI 正在摧毁互联网」与「AI 完全无害」两种过度叙事共同的错误。

边界

最后把边界列清楚。检测器是概率工具,会误判个别页面,Open Pangram 对 2022 年前的旧页有更高的假阳性率,所以 2021–2022 年的低比例只能当作近似值;付费墙与需登录页面欠采样;35% 只适用于带发布日期的子集;「AI 写作痕迹」涵盖「由 AI 写」与「被 AI 大幅编辑」,不等于「完全由 AI 生成」。作者 Samuel Bestvater 是 Pew 的高级数据科学家,这是 Data Labs 的原创计算社会科学研究,而非外部厂商的营销数据。

下一项可观察变量是这条时间序列本身:这套 49 次快照的方法可以逐年续跑。如果「ChatGPT 后内容」的比例继续上升,或者 .edu/.gov 这类高门槛域名也开始松动,那才是比「35%」本身更值得警惕的信号。

来源

  1. How Much of the Internet Is Written With AI? · Pew Research Center
  2. Methodology: How Much of the Internet Is Written With AI? · Pew Research Center
  3. A third of webpages published since ChatGPT's launch show signs of AI authorship, study finds · TechCrunch
  4. The Impact of AI-Generated Text on the Internet · Dolezal et al., arXiv:2604.26965

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 一名身着商务装的人与身旁透明的人物轮廓,四周环绕聊天提示词

    厂商 AI 使用报告漏掉近一半真实对话,独立测量挑战「工作用途」叙事

    数据 · 2026-08-20

  • Seedance 2.0 生成的 AI 视频截图:汤姆·克鲁斯与布拉德·皮特在屋顶打斗

    MPA 与字节跳动达成首个 AI 版权协议,护栏细节未公开

    数据 · 2026-08-17

  • iPhone 上的 Siri 提示气泡,示意 Apple 正在为 AI 版 Siri 接入新闻内容

    Apple 拟按内容「使用次数」付费:Siri AI 内容授权的计量难题

    数据 · 2026-08-13

  • Reuters 为 Anthropic 数据留存政策报道配发的编辑插图:机械手、键盘与 Anthropic 标识

    OpenAI 推零留存安全监控,Anthropic 的 30 天数据留存政策松动

    数据 · 2026-08-21

  • 一架 Spirit Airlines 空客 A319 客机进近曼彻斯特-波士顿地区机场

    Google 1000 万美元拍下 Spirit 破产数据:1 亿封邮件与 5 亿条聊天将用于训练

    数据 · 2026-08-19

  • Turing 官方文章封面中的蓝色数据波纹

    通过自检,却自信地出错:Terminal-Bench 3.0 揭开 Agent 评测盲区

    数据 · 2026-08-15

AGIDaily跟踪世界 AGI 进展© 2026 AGIDaily
关于邮件栏目主题定制投稿招聘广告SkillTermsContactRSS