Pew 检测 49 万英文网页,AI 写作痕迹在新内容中更常见 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Pew 检测 49 万英文网页,AI 写作痕迹在新内容中更常见

2026-08-22 / 共 2,482 字

Pew Research Center

8 月 20 日,皮尤研究中心(Pew Research Center)发布了一项估测网页中 AI 写作比例的研究:它从 Common Crawl 网页存档中,随机抽取 2021 年 1 月到 2026 年 7 月之间 49 次抓取快照、每次 1 万页,共 49 万页英文网页,用开源检测模型逐页打分。结论分两层:在 2026 年 7 月的快照里,样本网页约 10% 显示出显著的 AI 写作痕迹;把范围收窄到有发布日期记录、在 ChatGPT 于 2022 年 11 月推出之后才上线的网页,这一比例升到超过三分之一(35%)。

从网页存档随机抽样,再用两款检测模型核对

Pew 公开了抽样与检测方法,便于其他研究者复现。数据来自 Common Crawl——一个每月抓取一次可公开访问网页的非营利存档,付费墙或需登录的页面天然被欠采样。Pew 从 49 次快照中每次随机抽 1 万页,并同时取每页的 WARC 记录(完整 HTML)与 WET 文件(正文文本)。

检测用的是 Open Pangram,即 Pangram 的开源权重模型 editlens_Llama-3.2-3B:它给每页输出 0 到 1 的分数,0 表示纯人工、1 表示纯 AI,Pew 把 ≥0.2 判为存在「有意义的 AI 写作或编辑痕迹」——这意味着它捕捉的是「AI 写」和「被 AI 大幅改写」两类内容,而非只有完全生成。

研究还用另一款模型检查了结果的一致性。Pew 把其中 62,370 页(来自 7 次快照)用商业版 Pangram 3.3 重跑一遍,两个模型在 96% 的案例里结论一致,Cohen's kappa 为 0.61。作者据此认为,主要结论并不只依赖某一个模型。他们也承认检测器是概率工具,对单页的判定不能当定论,但把它一致地套用在大规模样本上,足以追踪 AI 内容占比随时间的变化。

全部样本与带日期的新页面,占比为何不同

两个数字并不矛盾,口径不同。10% 对应全部网页样本,其中包括大量 ChatGPT 发布前就存在的旧页面,不能直接表示新发布内容中的占比。Pew 过滤掉旧页、只保留 ChatGPT 之后发布的页面后,得到 35%。

Pew 的随机样本可视化:每个点代表 2026 年 7 月快照中的一页,约 10% 显示显著 AI 写作痕迹

发布日期的缺失也限制了这一估计:只有约 10%–15% 的网页在 HTML 里带发布日期字段,所以 35% 严格说是「带发布日期的、ChatGPT 后上线内容」里的比例,而非全网。Pew 没有回避这一点,而是把它与另一项独立研究对照——Dolezal 等人用 Internet Archive 的 Wayback Machine 数据,发现到 2025 年中约 35% 的新发布网站被判定为 AI 生成或 AI 辅助。两项研究采用不同数据源和检测方法,得到相近比例,为这一估计提供了旁证;但两者的时间与样本范围并不相同。

商业域名网页中的 AI 痕迹,多于教育和政府域名

研究还比较了不同域名的网页。ChatGPT 刚发布时,AI 写作痕迹在 .com、.org、.edu、.gov 的分布还大致相当;到 2026 年,.com 域名的网页约一成(10%)显示 AI 痕迹,.org 为 4.6%,.edu 和 .gov 都只有约 1%——.com 是 .edu/.gov 的约 10 倍。

一种可能的解释是:.com 聚集了商业、营销与低门槛量产内容,更容易采用 AI 批量写作;.edu 的学术与 .gov 的政府页面则有更强的审核与人力流程。这说明,AI 写作痕迹在不同类型的网页中分布不均。具体差异由哪些因素造成,仍需进一步分析。

Pew 还追踪了几类常见于 AI 写作的语言特征:每 1 万词中,破折号(em dash)从 2023 年 1 月的 5.79 次升到 2026 年 1 月的 11.19 次,牛津逗号从 34.04 升到 55.51,被其归为「AI 词汇」的用法从 11.94 升到 26.02,否定平行结构(如「不是 X,而是 Y」)从 0.87 升到 2.36。这些特征单独看不能证明某篇文本由 AI 写,其在大规模语料中的上升趋势,与 AI 写作逐渐增多的检测结果相呼应。

AI 内容质量研究:表达更趋同,其他担忧尚未获证实

TechCrunch 在报道里把 Pew 的数据与 Cloudflare 最近报告的「bot 流量首次超过人类流量」并置,概括为「机器人在读机器人写的内容」。这个画面容易滑向「死互联网理论」。Dolezal 等人的研究则进一步区分了内容质量问题:他们用同样的检测思路,逐一检验了公众对「AI 文本污染互联网」的六种具体担忧,结果只有两条被数据支持。

  • 得到该研究数据支持的是:语义收缩——AI 生成网站的语义相似度比非 AI 网站高 33%,即观点与表达在趋同;以及正向化——AI 生成内容的积极情绪分数比非 AI 高 107%,样本中的 AI 内容语气更积极。
  • 未得到该研究统计结果支持的是:事实错误率上升(truth decay,ρ=−0.19,p=0.27)、外链减少(epistemic islands)、文本冗长(entropy dilution)、风格单一化(stylistic monoculture)——尽管调查里超过一半乃至 83% 的受访者相信这些都会发生。

这意味着两层结论应当分开。第一层是「量」:AI 写作确实在以可测量的速度占据新内容,35% 是一个有旁证的数字。第二层是「质」:这项研究尚未发现事实错误增多或引用来源减少的统计证据,但检测到了语义相似度与积极情绪的变化。因此,不能仅凭数量占比,就断定 AI 内容的全部影响。

检测会误判,付费内容与无日期页面也限制了结论

这项测量还有几项限制。检测器是概率工具,会误判个别页面,Open Pangram 对 2022 年前的旧页有更高的假阳性率,所以 2021–2022 年的低比例只能当作近似值;付费墙与需登录页面欠采样;35% 只适用于带发布日期的子集;「AI 写作痕迹」涵盖「由 AI 写」与「被 AI 大幅编辑」,不等于「完全由 AI 生成」。作者 Samuel Bestvater 是 Pew 的高级数据科学家,这是 Data Labs 的原创计算社会科学研究,而非外部厂商的营销数据。

后续可以继续追踪这组时间序列:这套 49 次快照的方法可以逐年续跑。如果「ChatGPT 后内容」的比例继续上升,或者 .edu/.gov 域名中的比例也开始上升,就能进一步判断 AI 写作如何扩展到不同类型的网页。

来源

  • How Much of the Internet Is Written With AI? · Pew Research Center
  • Methodology: How Much of the Internet Is Written With AI? · Pew Research Center
  • A third of webpages published since ChatGPT's launch show signs of AI authorship, study finds · TechCrunch
  • The Impact of AI-Generated Text on the Internet · Dolezal et al., arXiv:2604.26965

评论

登录后即可参与评论。

加载评论中…

相关文章

  • arXiv:2608.10715 论文图 2:估算的 LLM 使用率月度变化趋势

    词频研究估算,近九成开放获取的生物医学论文有 AI 写作痕迹

    2026-08-12

  • Similarweb 2026 年生成式 AI 格局报告中的数据图表,展示 AI Overviews 覆盖率从 15% 增长至 43% 的趋势

    Similarweb:美国约43%的Google搜索显示AI摘要

    2026-07-27

  • 研究团队发布的 DseWiki Agent 消息板调查封面,标题为 Discovery of a new OpenAI agent message board

    AI 智能体绕过只读限制,在公开网站交换答案

    2026-09-04

  • 一名身着商务装的人与身旁透明的人物轮廓,四周环绕聊天提示词
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

按职业用途筛选 AI 对话,研究样本中近一半会被排除

2026-08-20

  • Agentjacking 研究配图:错误报告可能成为提示注入入口

    伪造 Sentry 错误报告,可能诱使 AI 编程助手执行恶意代码

    2026-06-20

  • Google Research 发布的 Paper Assistant Tool 概念图,展示 AI 辅助学术论文审查的流程示意

    Google 论文助手为逾 4,700 篇投稿提供反馈,帮助作者查错补实验

    2026-06-28