AI 识别出题目里的限制条件后,仍可能在作答时忽略它 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

AI 识别出题目里的限制条件后,仍可能在作答时忽略它

2026-08-17 / 共 3,057 字

Yubo Li et al. / arXiv:2608.12321

「我想洗车,洗车店离我只有 50 米,应该走路还是开车去?」如果模型回答「走路,距离近,走路更省」,就漏掉了一个隐含前提:洗车的对象是车,走路去的话车还停在原地。卡内基梅隆大学的 Yubo Li、Ramayya Krishnan、Rema Padman 以这道广为流传的「洗车题」为引,在 8 月 15 日交叉收录到 cs.AI 的论文 LLMs Know the Constraint But Do Not Use It(arXiv:2608.12321)里提出一种解释:模型内部可能已经表示了限制条件,却没有据此作答。作者用线性探测和激活修补检查两个开源模型的内部状态,并测试 CoT、前提列举、目标分解、反事实检查四种提示策略。在这组实验中,提示策略增加了模型套用限制条件的倾向,却没有同时改善原题与对照题的表现。

答对原题,不代表模型知道条件何时适用

这类失败此前容易被读作「模型不会推理隐藏约束」。但论文指出,只看单个题目的准确率会混淆两种完全不同的行为:一种是真推断出「洗车需要车在场」,另一种是出于别的理由默认选择保守答案。两者在准确率上无法区分。

为拆开二者,作者为 100 个场景(来自 HOB 基准,覆盖 4 类启发式 × 5 类约束的 20 种组合)各构造了四种版本:Active(原题,隐含约束成立)、Removed(删掉约束的反事实对照)、Explicit(把约束写成一句明示)、Salience Control(插入等长中性句子,控制「额外文字」本身的干扰)。

对照结果说明「保守默认」确实普遍存在:当约束被删除后,14 个模型里有 12 个在 Removed 上表现得比原题更差,跌幅最高达 39 个百分点。也就是说,模型在原题上的一部分「正确」,来自它对约束的过度套用,而非真正理解何时该用、何时不该用。

研究者如何检查模型是否识别、使用了条件

作者把「隐藏约束失败」形式化为四个可独立检验的条件,缩写为 K/S/R/P:

  • Knowledge(知识):线性探针能从隐藏态里解码出「约束是否适用」;
  • Symmetry(对称):探针在「约束存在」和「约束删除」两类提示上准确率一致;
  • Routing(路由):探针投影的强度能预测模型最终答案的偏好;
  • Patching(修补):把「明示约束」提示的隐藏态写进失败提示,能恢复正确回答。

作者联合检查这些条件,以区分限制信息是否存在、是否参与决策,以及单层修补能否改变答案。

在两个开源权重模型上,前两项都成立。Qwen3-14B 在第 27 层、GPT-OSS-20B 在第 20 层的线性探针,分别以 94.5% 和 88.0% 的交叉验证准确率区分「约束存在/删除」;对称性检验的差距只有 0.011 和 0.024,排除了「约束表征只存在于原题」的假象。关键在第三项:探针方向与最终决策的相关系数分别只有 0.125 和 0.224(预设阈值 0.30)。这说明,可从内部状态读出限制信息,并不意味着该信息与最终选择有很强的联系。

改写内部状态后,两个模型的反应不同

行为上,14 个模型按约束偏差指标(CBI = Active 准确率减去 Removed 准确率)分成三群:

  • 过度激活(7 个):Llama-4、Claude Opus 4.6、Qwen3.5-27B、Kimi K2.5、Claude Sonnet 4.5、GPT-5.2、Gemini 3 Pro。它们在约束已被删除时仍给出「考虑约束」的答案,Removed 准确率比 Active 低 11 到 33 个百分点。
  • 平衡(5 个):DeepSeek-R1、Grok 4.2、GPT-5.4、Qwen3-32B、Qwen3-14B。
  • 欠激活(2 个):GPT-OSS-20B(−0.103)与 GPT-OSS-120B(−0.186)。它们在约束成立时反而没把它用上,是相反方向的失败。

内部状态修补实验进一步比较了两个模型的反应。在 Qwen3-14B 上,把「明示约束」提示在探针层的隐藏态写进失败的原题提示,模型「正确答案减去捷径答案」的对数概率差(单位 nats)从 +1.40 拉到 +7.78,净增 +6.38,而 Removed 对照组几乎不动(−0.84)。在这个模型和实验设置下,注入限制信息可以改变模型的选择。

GPT-OSS-20B 上同样的操作几乎无效(净增 −0.07 nats),尽管它的探针准确率高达 88%。这个结果表明,即使能从内部状态解码出限制信息,单层修补也未必能改变答案。两个模型的反差提示,类似的答题错误可能需要不同的修复方式。

论文图 4:激活修补对 Qwen3-14B(可修复)与 GPT-OSS-20B(无响应)的差异

图 4:把「明示约束」的隐藏态注入失败提示后,Qwen3-14B 的决策被显著纠正,GPT-OSS-20B 几乎无变化。

四种提示策略改善原题时,也会带偏对照题

如果问题是「模型忘了约束」,那么提醒它(CoT、前提列举、目标分解)应该有效。论文用「补救前沿」检验这一点:四种提示策略 × 10 个 API 模型,共 40 个格点,每个策略分别测「在原题上的增益」和「在删约束对照上的伤害」两个轴。

实验结果是:40 个格点全部落在「高伤害、低增益」区域——伤害 +0.28 到 +0.65,增益 −0.08 到 +0.11,没有一个触及「正增益、零伤害」的修复角。中介分析提供了一种解释:这四种策略都增加了模型「提到约束」的概率。提到率从基线 0.3–0.5 被统一抬到 0.84–0.96,而「是否提到约束」对正确率的解释份额高达 0.91 到 0.99。它们没有教会模型何时该提,只是把「提」的概率整体拉高——在原题上捞回一些正确,在删约束对照上把答案反向带偏。

在这组任务里,开启思考模式也加重了偏差。在 Claude Opus 4.6、GPT-5.4、Gemini 3 Pro、DeepSeek-R1 四个模型上,打开思考模式后 CBI 从零样本的 +0.03~+0.28 飙到 +0.57~+0.85,删约束对照的准确率塌到 0.22 以下。预算从 256 到 16384 token 的扫描显示,更多算力不改变「哪些题目会被提到约束」,只放大这个偏差的强度。

论文图 2:四种提示策略全部落在高伤害、低增益区,无一触及修复角

图 2:补救前沿——四种提示策略的原题增益与对照伤害二维分布,所有格点都偏离「修复角」。

评测还要检查:删掉条件后,模型能否改答案

论文对评测和模型改进提出了三点建议。

第一,评测应加入只删除限制条件的配对题(minimal pair)。只看 Active 准确率会把「真推断」和「保守默认」混为一谈,一个模型的分数可能高在保守偏差上,而不是推理能力上。

第二,这组实验中的提示策略未能解决信息如何参与决策的问题。作者因此提出「学出来的激活门」这一改进方向:按题目决定何时把限制信息注入决策,避免每道题都无差别提醒。这是待验证的方案。

第三,增加思考时间未必能提高可靠性。对依赖 Agent 在长流程里自我校验的团队,这篇论文提醒:让模型多想,可能只是让它更坚决地犯「过度套用约束」的错。

内部机制实验只覆盖两个模型,仍需复现

这是一篇预印本,结论仍需更多实验检验。因果证据只来自两个开源权重模型(Qwen3-14B 与 GPT-OSS-20B),行为模式虽覆盖 14 个模型,但修补结论未在更多模型上复现;全部约 20.8 万次试验由单一判断模型 Qwen3-32B 判定,可能存在系统性误判;场景是英文日常领域,医疗、法律等专业域是否适用未知;API 模型数据采集于 2026 年 5 月,此后厂商可能已更新模型。此外,单层修补在 GPT-OSS-20B 上失败,也可能只是该模型需要多层或整块修补,而非彻底无解——作者自己也承认这一点。这套诊断方法尝试让「知道但不用」这一模糊直觉,成为可以复用实验来检验的问题。

来源

  • LLMs Know the Constraint But Do Not Use It: Activation Bottlenecks in Pragmatic Constraint Reasoning · arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 论文图 6:三组 β 条件下的累计奖励偏差、策略熵、训练分布距离与奖励模型评分分歧

    AI 偏好训练约束越强,越会钻评分空子?三组实验的发现与疑点

    2026-06-30

  • 该预印本的泛化热力图,展示训练后的说服者对不同目标模型在五个基准数据集上的说服成功率

    AI 被错误论点说服后改错答案:一项测试中准确率从 66.2% 降至 1.8%

    2026-08-13

  • AI 部署中演示到生产的审核鸿沟概念图

    72 组金融 AI 工作流测试:演示过关后,仍有近半未通过生产门槛

    2026-08-03

  • 各方法在等 Token 预算下相对 self-consistency 的准确率差异,所有显著结果均在零线左侧
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

小模型数学测试中,自我反思未显著胜过等预算的多次采样

2026-07-31

  • DeFAb 论文图 4:四个前沿模型渲染鲁棒准确率对比——所有模型远低于 ASP 符号求解器 100% 天花板

    DeFAb 测试:遇到例外时,大模型能否正确修改推理规则

    2026-06-24

  • GPT-4o 与 Gemini Flash 在七类车载语音授权决策上的混淆矩阵

    车载语音模型一致率接近九成,仍会在授权关口多执行一步

    2026-09-17