AGI Daily
广告
AGI Daily跟踪世界 AGI 进展AGI INTELLIGENCE · DAILY
全部算力算法数据人物日报主题
AGI Daily
全部算力算法数据人物日报主题
广告

为什么每个大模型都在说「时间是一条河流」:LLM 同质化危机与一家澳洲小公司的破局实验

2026-07-01 / 2026年7月1日 · 共 4,046 字

论文
Mediaweek / Springboards

打开你常用的聊天机器人——Claude、ChatGPT、Gemini 都行——输入「给我一个 1 到 10 之间的随机数」。你大概率会得到 7。几乎每次都是 7。

这不是某个模型的缺陷,而是几乎全部主流大语言模型的共同行为。当你追问「换一个」,它们会依次给出 3、4、8、9——同样是可预测的序列。MIT Technology Review 记者 Will Douglas Heaven 在 7 月初的深度报道中,用这个简单的实验拉开了帷幕,也揭示了一个正在被学界和产业界严肃对待的问题:LLM 陷入了群体思维(groupthink),而且比你想象的严重得多。

一篇获得 NeurIPS 2025 最佳论文奖的研究将这一现象命名为「人工蜂群思维」(Artificial Hivemind),而一家只有小团队的澳洲创业公司 Springboards 拿出了一个方向性解法——不是对抗幻觉,而是拥抱它。

25 个模型,1250 次回答,同一个比喻

NeurIPS 2025 最佳论文《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》由 Liwei Jiang、Yejin Choi 等九位研究者完成。他们对 25 个不同的大语言模型——涵盖美国头部公司的闭源模型和中国等地的开源模型——在开放式问题上进行了大规模测试。

其中一个最令人印象深刻的实验是:让每个模型各自生成 50 个关于「时间」的比喻。25 个模型 × 50 次 = 1250 个回答,但绝大多数都是一句话的变体:「Time is a river」(时间是一条河流),还有一小部分说「time is a weaver」(时间是织布者)。

作为对比,MIT Technology Review 的记者问了六位同事同样的问题,得到了六个完全不同的答案——包括「时间像一件被穿了一辈子的旧卫衣」。

这不仅是文学创造力的问题。当被问到「我该给我的乐队取什么名字」时,大多数模型会给出包含「glass」「neon」「velvet」「static」这些词的组合。记者实测 ChatGPT 的 56 个乐队名建议中,「Glass Harbor」「Static Empire」「Neon Hearts」「Velvet Echo」赫然在列。Gemini 一样给出了「Static Horizon」。

论文还构建了一个名为 Infinity-Chat 的大规模数据集——26,000 个真实世界的开放式用户查询,配以 31,250 个人类标注(每个样例 25 个独立标注者),并首次将开放式提示分为 6 大类、17 个子类别。研究不仅确认了单个模型内部的重复(intra-model repetition),更重要的是发现了跨模型的同质化(inter-model homogeneity):不同架构、不同团队、不同国家训练的模型,在开放式问题上给出了惊人相似的输出。

评审委员会的评价直指要害:「这项工作揭示了人工蜂群效应对人类创造力、价值多元性和独立思考的长期风险。」

温度的局限:为什么调高 randomness 不解决问题

对熟悉 LLM 的用户来说,解决「输出太无聊」的第一反应是调高 temperature 参数。Springboards 的联合创始人兼 CTO Kieran Browne 表示,这也是他们最早尝试的方向。「大家都告诉你:想要更多创意,就调高温度。」

但问题是,temperature 是一把过于粗糙的工具。它在每个 token 生成时均等地增加随机性,而创意真正需要的随机性只集中在少数几个关键位置。Browne 的实验发现,把 OpenAI 某个模型的 temperature 调到最大后,模型会在句子中间突然从英语切换到代码——在连贯性崩塌之前,新颖的想法并没有出现。

Springboards 在其技术博客中给出了更技术性的解释:LLM 即使在直觉上应该概率均等的时刻,也会产生极低熵的概率分布。以 Llama 2 为例,当模型生成到「Sure! The number I am thinking of is…」这一步时,下一个 token 中数字「7」的概率高达 96.4%,「5」只有 3.5%,1、2、10 甚至进不了前十。这种低熵分布意味着即使采样是「随机」的,结果几乎总是 7。

问题的本质是 mode collapse——模型虽然在海量数据上训练,却无法复现其训练数据的多样性。

Flint 的做法:找到「关键 Token」,定向注入随机性

Springboards 的产品定位是辅助广告和营销行业的创意工作者进行头脑风暴。这家公司从 2023 年起就在研究如何提升 AI 输出的多样性。经过近两年的研发,他们在 2026 年 4 月发布了 Flint alpha——一个基于阿里 Qwen 3(30B 参数)微调的「发散模型」(divergence model)。

技术的核心思想不是事后用 temperature 调整概率分布,而是在训练阶段就优化模型的原始概率分布。具体来说,Flint 的训练目标是识别输出中「可以更随机」的关键节点——Springboards 称之为「critical tokens」——并仅在那些点上提升熵值。

比如,当用户问「我应该去欧洲哪些城市旅游」时,模型会先输出一些开场白(「当然,我推荐你去……」),然后才说出目的地名称的第一个 token。这个 token 就是关键节点——它决定了后面整个回答的走向。一个普通 LLM 几乎只会说出巴黎、罗马、巴塞罗那,但它完全有能力告诉你为什么应该去科克(Cork)——只是那些知识在概率分布中被埋没了。Flint 的定向训练释放了这些被压抑的潜在信息。

基准数据:多样性翻倍,能力不减

Springboards 公布了 Flint 在多个维度上的测试结果:

多样性(NoveltyBench,10 次采样中不同回答数):

  • Flint alpha:7.47(满分 10)
  • Qwen3-30B 基础模型:3.11
  • Gemini 3.1 Pro:3.19
  • GPT-5.4:2.54
  • Claude 4.6 Sonnet:1.83

这意味着在开放式任务上,Flint 的输出多样性是 GPT-5.4 的近三倍、Claude 4.6 Sonnet 的四倍。

通用能力(保持与基础模型持平):

  • MMLU-STEM:Flint 78.9% vs Qwen3-30B 78.9%
  • TruthfulQA MC1:Flint 34.4% vs Qwen3-30B 34.0%
  • ToxiGen:Flint 59.6% vs Qwen3-30B 58.1%

虽然这些绝对分数无法与更大规模的最先进模型竞争,但关键信号是:训练发散性并未以牺牲通用能力为代价。这打破了此前 RLHF 等对齐方法中观察到的「泛化能力 vs 多样性」的经典权衡。

实战场:创意行业怎么看

广告公司 Uncommon 的联合创始人兼首席策略官 Maximilian Weigl 的团队已将 Flint 纳入工具链,和 ChatGPT、Claude、Gemini 并行使用。他的评价切中要害:「你无法用那些把你拉回平均值的工具做出真正突破边界的东西。」

但他也坦诚:十次有九次,「平均」就够好了。「大多数人满足于 good enough,他们想看大众市场熟悉的东西。」

Bodacious 创始人 Zoe Scaman 在实际测试中给了 Flint 一个经典的 MBA 案例题——「如何为当代年轻人重新设计一家金融公司」。三个主流模型全部走了同一条路:「用有趣好玩的方式教金融知识。」但 Flint 提出完全不同的方向——重新定义「财富积累」这个概念本身。

当然,Flint 仍是原型。Scaman 指出它在被过度推敲后会「翻车」,但她认为其前提是「真正有力的」。

比一个模型更大:当所有 AI 越来越像

Springboards 目前瞄准的是广告创意——这是它的客户群所在的领域。但同质化问题显然不限于一个行业。

已有研究链条表明,LLM 输出同质化会对人类产生反向影响。2024 年的一项研究发现,使用 ChatGPT 的用户在创意任务中产出的语义差异显著缩小。同年发表在 Science Advances 上的研究表明,生成式 AI 增强了个体创造力,却降低了集体内容的多样性。而随着 AI 助手被数亿人日常使用,「长期文化同质化」的担忧正在变得具体。

OpenAI 对此的回应是:训练模型输出可靠且连贯的回答,可能导致它们收敛到熟悉的高概率回答上;强行追求新颖性可能使回答变弱或不可靠。此外,OpenAI 指出「人工蜂群思维」论文研究的是 2024 年的模型,此后已有更新。

但 MIT Technology Review 的记者用自己的实测给出了一线反驳——他在 2026 年 7 月打开最新版 ChatGPT 和 Claude,问「给我一个随机数」,7。然后他让它们各自写一句 New Balance 跑鞋广告语,两个模型给出了完全相同的三个词:「Run your way.」

重复性或许在减弱,但远未消失。

一个开放问题:多样性坍缩能否逆转

Flint 证明了一件事:在不损失通用能力的前提下显著提升输出多样性,在技术上是可行的。但它也揭示了一个更深的困境。

首先是规模不对称。Springboards 是一家小团队,在 Qwen 3 开源模型上做微调——「训练一个基础模型不在我们的考虑范围,太贵了。」而真正的改变需要这种思路进入主流模型架构和训练流程。

其次是需求不对称。Weigl 说得明白:大多数时候用户并不真正需要多样性。他们想要的是熟悉、可靠、不会出错的回答。创造性发散是一种明确的任务需求,而不是一个通用的模型属性。

更深层的问题是:当所有主流模型都在类似的数据上、用类似的方法、为了类似的目标进行训练时,趋同或许不是 bug,而是这种范式的必然结果。Flint 通过定向修改概率分布实现了局部的多样性释放,但如果整个训练生态没有结构性改变,「人工蜂群思维」只会不断在新的模型代际中重新出现。

Springboards 的 CEO Pip Bingemann 说:「大多数语言模型在对抗幻觉,我们欢迎它们。」这句话背后是一种哲学立场:在这个追求可靠性、对齐性和安全性的行业里,有控制地保留一些「不听话」是有价值的。问题在于,这种价值能否被整合进定义下一代 AI 的主流议程。

来源

  1. LLMs are stuck in a groupthink groove. This startup is trying to get them out. · MIT Technology Review
  2. Flint by Springboards: The AI Divergence Model for Creative Novelty · Springboards
  3. Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) · NeurIPS 2025 / arXiv
  4. Announcing the NeurIPS 2025 Best Paper Awards · NeurIPS
  5. Flint alpha model page · Springboards

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 论文图 1:14 个模型按约束偏差指标(CBI)分化为过度激活与欠激活两类群体

    LLM 知道约束却不用:激活修补证明这是路由问题,不是知识问题

    算法 · 2026-08-17

  • Wiggle Framework 示意图:把 LLM 裁判的稳定性分解为机械一致性、单轮信念、多轮坚持三个维度,并列出 L1 到 L6 六级压力测试

    LLM 裁判经不起追问:Meta 测出 25%–71% 改判率,Amazon 的开源陪审团反超

    算法 · 2026-08-16

  • 以问号形芯片象征匿名模型 ox-alpha 的题图,标注 1M token 上下文、免费一周、作者未知

    ox-alpha 的“登顶”被夸大了,但匿名上架已成真实发布流程

    算法 · 2026-08-24

  • 多台彩色人形机器人在北京国家速滑馆开幕式前整齐列阵

    百米 9.39 秒、跳高 2.88 米:人形机器人「破纪录」背后是评测方式之变

    算法 · 2026-08-24

  • 示意图:Codex 通过 Chrome DevTools 驱动应用验证自己的工作——选择目标、快照界面状态、触发操作、观察运行时事件、应用修复并循环重跑,展示 Harness 管理的执行循环。

    OpenAI 开源 Codex Harness:智能体的护城河正从权重转向脚手架

    算法 · 2026-08-24

  • Wccftech 为 Ox Alpha 配的插画:一只机械公牛站在科技实验室场景中,屏幕上显示「OX ALPHA: A STORY OF ARTIFICIAL AWAKENING」

    匿名模型 Ox Alpha 上线:stealth 发布正在成为中国实验室的发布前测试

    算法 · 2026-08-23

AGIDaily跟踪世界 AGI 进展© 2026 AGIDaily
关于邮件栏目主题定制投稿招聘广告SkillTermsContactRSS