AI 的创意为何容易相似?Flint 尝试让模型给出更多不同答案 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

AI 的创意为何容易相似?Flint 尝试让模型给出更多不同答案

2026-07-01 / 共 3,878 字

Mediaweek / Springboards

让聊天机器人给出一个 1 到 10 之间的随机数,答案常常是 7。MIT Technology Review 记者 Will Douglas Heaven 在 7 月 1 日的报道中,用这个小实验引出了一个更广泛的问题:不同 AI 为什么总会想到相似的答案?

Springboards 也观察到类似现象:即使继续要求「换一个」,模型仍容易落入 3、4、8、9 等熟悉的选择。一次问答当然无法说明所有模型的表现,但研究者已经开始系统测量这种输出趋同。

一篇获得 NeurIPS 2025 最佳论文奖的研究将这一现象称为「人工蜂群思维」(Artificial Hivemind)。澳洲创业公司 Springboards 则推出了 Flint,专门尝试增加头脑风暴中的答案多样性。

25 个模型写时间的比喻,答案集中在河流和织布者

NeurIPS 2025 最佳论文《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》由 Liwei Jiang、Yejin Choi 等研究者完成。论文主体详细比较了 25 个大语言模型,涵盖多家公司的闭源及开放模型,测试它们对开放式问题的回答。

其中一个实验让每个模型各自生成 50 个关于「时间」的比喻。25 个模型 × 50 次 = 1250 个回答,但绝大多数都是一句话的变体:「Time is a river」(时间是一条河流),另一个较小的聚类围绕「time is a weaver」(时间是织布者)。

记者还向六位同事提出相同问题,得到六个不同答案,包括「时间像一件被穿了一辈子的旧卫衣」。这提供了一个直观对照。

类似重复也出现在取名任务中。当被问到「我该给我的乐队取什么名字」时,大多数模型会给出包含「glass」「neon」「velvet」「static」这些词的组合。记者实测 ChatGPT 的 56 个乐队名建议中,「Glass Harbor」「Static Empire」「Neon Hearts」「Velvet Echo」都在其中。Gemini 一样给出了「Static Horizon」。

研究团队构建的 Infinity-Chat 数据集收集了约 26,000 个真实用户的开放式问题,按 6 大类、17 个子类别整理。团队还对其中抽取的回答及回答对收集了 31,250 个人工标注,每个标注样例由 25 人独立评价。研究既观察到同一模型反复给出相似答案,也发现不同模型之间的回答高度相似。

评审委员会在授奖评价中提醒:「这项工作揭示了人工蜂群效应对人类创造力、价值多元性和独立思考的长期风险。」

提高采样温度,可能先损害连贯性

对熟悉 LLM 的用户来说,解决「输出太无聊」的第一反应是调高 temperature 参数。Springboards 的联合创始人兼 CTO Kieran Browne 表示,这也是他们最早尝试的方向。「大家都告诉你:想要更多创意,就调高温度。」

采样温度会影响每一步的候选词元概率,不会自动区分哪些位置适合发散、哪些位置需要遵守语法。Springboards 认为,创意任务尤其需要在少数影响答案方向的位置增加变化。据 Browne 介绍,他们曾发现,把 OpenAI 某个模型的 temperature 调到最大后,模型会在句子中间突然从英语切换到代码——在连贯性崩塌之前,新颖的想法并没有出现。

Springboards 在技术博客中展示了一个具体例子:LLM 即使在直觉上应该概率均等的时刻,也会产生极低熵的概率分布。以 Llama 2 为例,当模型生成到「Sure! The number I am thinking of is…」这一步时,下一个 token 中数字「7」的概率高达 96.4%,「5」只有 3.5%,1、2、10 甚至进不了前十。这种低熵分布意味着即使采样是「随机」的,结果几乎总是 7。

研究者把这种答案集中在少数模式上的现象称为模式坍缩(mode collapse)。模型掌握许多知识,并不意味着它会在开放式问答中均匀地使用这些知识。

Flint 在训练中增加关键词元的选择范围

Springboards 的产品定位是辅助广告和营销行业的创意工作者进行头脑风暴。这家公司从 2023 年起就在研究如何提升 AI 输出的多样性。2026 年 4 月,他们发布 Flint alpha:在阿里 Qwen3-30B-A3B(总参数 30B)上微调,专门面向发散式创意任务。

按公司介绍,Flint 在训练阶段调整模型的词元概率分布,重点关注那些会改变答案含义或走向的节点。Springboards 将它们称为「critical tokens」,即关键词元。模型在这些位置保留更多合理选项,在需要连贯表达的地方则减少不必要的变化。

比如,当用户问「我应该去欧洲哪些城市旅游」时,模型会先输出一些开场白(「当然,我推荐你去……」),然后才说出目的地名称的第一个 token。这个 token 就是关键节点——它决定了后面整个回答的走向。模型可能习惯推荐巴黎、罗马、巴塞罗那,却很少主动提到科克(Cork),即使它知道后者有哪些值得游览的地方。Flint 希望通过定向训练,让这些较少被选中的答案也有机会出现。

公司自测中,多样性提高,三项能力分数接近原模型

Springboards 公布了以下测试结果,均为公司报告的数据:

多样性(NoveltyBench,同一问题 10 次采样中有实质区别的回答数,取平均):

  • Flint alpha:7.47(满分 10)
  • Qwen3-30B-A3B 原模型:3.11
  • Gemini 3.1 Pro:3.19
  • GPT-5.4:2.54
  • Claude 4.6 Sonnet:1.83

在这项指标上,Flint 的得分约为 GPT-5.4 的三倍、Claude 4.6 Sonnet 的四倍。它测量的是回答有多少种,不直接衡量每个创意是否好用。

其他能力测试(与微调前的模型比较):

  • MMLU-STEM:Flint 78.9% vs Qwen3-30B 78.9%
  • TruthfulQA MC1:Flint 34.4% vs Qwen3-30B 34.0%
  • ToxiGen 标准准确率:Flint 59.6% vs Qwen3-30B 58.1%

这三项测试中,Flint 的分数与原模型接近或略高,支持了一个较窄的结论:针对发散性的训练,可以在提高回答多样性的同时保留这些已测能力。它是否对其他任务也没有影响,还需要更广泛的评估。

创意团队把 Flint 用作头脑风暴的补充工具

广告公司 Uncommon 的联合创始人兼首席策略官 Maximilian Weigl 的团队已将 Flint 纳入工具链,和 ChatGPT、Claude、Gemini 并行使用。他在采访中说:「你无法用那些把你拉回平均值的工具做出真正突破边界的东西。」

不过,按他的说法,十次有九次,「平均」就够好了。「大多数人满足于 good enough,他们想看大众市场熟悉的东西。」

Bodacious 创始人 Zoe Scaman 在实际测试中给了 Flint 一个经典的 MBA 案例题——「如何为当代年轻人重新设计一家金融公司」。在她的测试里,三个主流模型都提出了相似方向:「用有趣好玩的方式教金融知识。」但 Flint 提出完全不同的方向——重新定义「财富积累」这个概念本身。

Flint 仍处于 alpha 阶段。Scaman 指出它在被过度推敲后会「翻车」,但她认为其前提是「真正有力的」。

相似的 AI 建议,也可能让人的创意趋同

Springboards 目前瞄准的是广告创意——这是它的客户群所在的领域。输出趋同对其他创意活动也有影响。

已有实验开始观察 AI 建议怎样影响使用者。2024 年的一项研究发现,使用 ChatGPT 的用户在创意任务中产出的语义差异显著缩小。同年发表在 Science Advances 上的研究表明,生成式 AI 增强了个体创造力,却降低了集体内容的多样性。随着 AI 助手被数亿人使用,这些结果也引出了长期文化多样性的问题。

OpenAI 对此的回应是:训练模型输出可靠且连贯的回答,可能导致它们收敛到熟悉的高概率回答上;强行追求新颖性可能使回答变弱或不可靠。OpenAI 还强调模型此后已有更新。论文的比较确实包含较早的版本,但并非全部来自 2024 年,也包括 2025 年的模型版本。

记者在 2026 年 7 月的报道中也测试了当时的 ChatGPT 和 Claude:让它们给一个随机数,两者都回答 7;让它们各写一句 New Balance 跑鞋广告语,又得到了相同的三个词:「Run your way.」

这些小规模试用不能衡量新旧模型进步了多少,但说明重复回答仍会出现。

这种训练方法能否用于更多模型和任务?

Flint 的自测结果提供了一条值得继续检验的路线:通过训练改变模型的选择倾向,而不仅是在生成时调整采样参数。要把这条路线用得更广,还需要考虑投入与需求。

首先是研发成本。Springboards 是一家小团队,在 Qwen 3 开源模型上做微调——「训练一个基础模型不在我们的考虑范围,太贵了。」这类方法能否进入更大模型的训练流程,会影响它的覆盖范围。

其次是使用需求。Weigl 认为,很多时候用户更看重熟悉、可靠的回答;在头脑风暴时,多样性才更重要。模型需要根据任务决定何时发散,以及发散到什么程度。

跨模型趋同的原因仍需研究。相似的训练数据、对齐方法和质量目标都可能有影响,现有论文尚未完成因果分析。Flint 针对概率分布的调整能缓解多少问题、能否跨模型复现,也有待后续验证。

Springboards 的 CEO Pip Bingemann 说:「大多数语言模型在对抗幻觉,我们欢迎它们。」放在广告创意场景里,这表达的是对意外想法的偏好。后续要检验的,是模型能否持续提供不同而有用的起点,同时把事实错误控制在用户可以接受的范围内。

来源

  • LLMs are stuck in a groupthink groove. This startup is trying to get them out. · MIT Technology Review
  • Flint by Springboards: The AI Divergence Model for Creative Novelty · Springboards
  • Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) · NeurIPS 2025 / arXiv
  • Announcing the NeurIPS 2025 Best Paper Awards · NeurIPS
  • Flint alpha model page · Springboards

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 屏幕上的代码细节,象征 token 级推理控制与算法优化

    让AI选择快答或长推理,ADaPT将70亿参数模型的平均输出缩短约三分之一

    2026-07-02

  • METR 在 NanoGPT 优化实验中比较累计支出、累计提速和支出翻倍带来的新增收益

    递归自我改进(RSI):模型变强,研发为何未必持续加速

    2026-09-08

  • Anthropic 哲学家 Amanda Askell 接受采访,讨论 AI 意识与 Claude 的对齐问题

    AI 实验室招聘哲学家,参与模型行为规范与伦理研究

    2026-06-29

  • ChatGPT 传统文本回答与 GPT-6 Intelligent UI 交互式回答的对比画面
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

GPT-6 把聊天回答变成交互界面,原生组件仍留在 ChatGPT

2026-10-24

  • AC/DC 算法流程:模型归档与任务归档的协同进化循环

    Sakana AI 用模型合并和自动出题,寻找能力互补的小模型

    2026-06-24

  • Agent harness 结构图:模型位于中心,周围环绕着上下文注入、控制流、动作执行、持久化和观察层。

    编程 AI 的高分有多少来自模型?工具和运行框架也会改变成绩

    2026-07-11