在一项本地视觉语言模型（VLM）测试中，受测 Qwen 混合推理模型关闭 thinking 模式后的得分都高于开启时。这次测试主要考察图像描述和识别，并设有单次运行时限；除了回答质量，模型的速度与完成率也影响了结果。
11 个基础模型、23 种配置，重复测试 30 张图
6 月 21 日，Reddit 社区 r/LocalLLaMA 的开发者 ex-arman68 发布了「最佳本地视觉模型」测试的第二轮更新。测试包含 11 个基础模型的 23 种配置 × 30 张图像 × 3 次重复运行，共计划 2070 次测试，耗费约 60–70 个推理小时。配置覆盖 Qwen3.5、Qwen3.6、Qwen3-VL 和 Gemma 4 等系列，包括密集模型、MoE（混合专家）模型以及 Q4、Q8 量化版本。部分运行未能完成。
相比第一轮，本轮将图像从 20 张增至 30 张，比较 thinking 与 non-thinking 模式，以及小模型的 Q8 与 Q4 量化。图像包含截图、照片、海报、艺术作品和科学图表等。测试在配备 96 GB 内存的 Apple M2 Max 上通过 llama.cpp 运行，单次时限为 300 秒；评分由 40% 的 OCR、计数和幻觉检查与 60% 的模型评审组成，并参考人工标注。每张图取三次运行分数的中位数，完成率也会影响有效得分。
受测 Qwen 关闭推理后得分更高，超时影响结果
测试者报告，在受测 Qwen 混合推理模型上，关闭 thinking 模式的得分均高于开启时。这包括 Qwen3.5 和 Qwen3.6 的多种尺寸与配置。
差距大小并不一致。Qwen3.6 27B Q4 的 non-thinking 配置以 79.6/100 位居本轮表列分数首位，thinking 配置为 78.2；Qwen3.5 4B Q4 的两种模式分别为 75.5 和 70.6，9B Q4 则为 73.1 和 72.7。
额外推理增加了运行时间，在这类以识别和描述为主的任务上未必能换来更高得分。Qwen3.6 27B Q4 关闭推理时完成了全部 90 次运行，开启后完成 81 次。这里的结果同时受到回答质量、生成速度和时限影响，不能全部归因于推理损害了视觉理解。
同一位测试者此前发布的 20 张图像版本中，两种 Qwen3.5 thinking 配置分别在 3 张和 4 张图像上超时，受测 Qwen3.6 MoE thinking 配置则未超时。前后两轮记录都表明，完成率是比较这些本地配置时不可忽略的因素。
MoE 总参数更多，未必带来更高视觉得分
测试中的 MoE 模型也没有凭借较大的总参数量拉开差距。例如，Qwen3.6 35B-A3B Q4 关闭推理时得分为 76.4，与小得多的 Qwen3.5 4B Q4 的 75.5 接近。
MoE 每次推理只激活部分专家，总参数量不能直接代表单次计算量。要判断架构本身对视觉能力的影响，还需控制训练方式和视觉编码器等变量；这项跨模型测试没有做这样的对照。
ICML 2026 论文《From Seeing to Thinking》提供了另一组有关感知错误的数据：研究者在三个视觉数学数据集上采样 Qwen3-VL-8B 的错误答案，再由 Claude Haiku 4.5 进行归因，其中 86.9% 被判定涉及视觉感知错误。研究据此探索分阶段改进感知和推理的训练方法，关注的是模型错在哪里，而非 MoE 与密集架构孰优孰劣。
Q8 的收益取决于模型和完成率
量化精度影响本地部署的内存占用、速度与输出质量。Q8 比 Q4 保留更多权重精度，但在有运行时限的测试中，不一定获得更高的最终分数：
- Gemma 4 的部分 Q8 配置原始得分更高，但完成率较低。例如，12B Q8 的原始得分为 76.6，计入完成率后有效得分为 59.7，低于 Q4 的 64.1。
- Qwen3-VL 8B Q8完成全部运行，得分 74.4，高于 Q4 的 73.1；受测 Qwen3.5 的部分 Q8 配置则出现较多失败或超时。
这组结果需要结合运行日志理解。更高精度的配置可能需要更多资源，模型实现和推理模式也会影响完成率。当前记录尚未分离这些因素，因而不能把所有得分差异都解释为量化精度对回答质量的直接影响。
相关研究尝试让推理持续参考图像
2025–2026 年的多篇论文研究了相近问题：模型延长推理时，如何继续关注图像中的证据。它们使用不同任务与模型，既观察到感知退化，也尝试通过训练或推理方法改善感知与推理的配合。
ICLR 2026 论文 VAPO（《More Thought, Less Accuracy?》）指出，多模态推理有助于逻辑推断和困难问题，但也可能逐渐削弱模型对视觉输入的关注。研究者将其称为 「视觉遗忘」（visual forgetting）：推理链延长时，模型可能忽略图像证据，在基础视觉问题上出错。VAPO 的训练方法旨在鼓励持续参考视觉信息的推理路径。
《Deeper Thought, Weaker Aim》从注意力机制分析这一现象：在多步视觉问答中，模型的视觉注意力可能逐渐分散，偏离与问题相关的区域。论文提出的 VRGA（Visual Region-Guided Attention）选择并重新加权视觉注意力头，在无需重新训练的情况下缓解感知退化。
ACL 2026 论文 GPRO（《Addressing Overthinking in Large Vision-Language Models》）则把计算分配到三条路径：轻量快速路径、重新检查图像的慢速感知路径，以及自我反思的慢速推理路径。控制器根据生成过程动态选择路径，让模型在需要时重看图像或继续推理。
其他推理研究讨论的是不同边界。Apple 的《The Illusion of Thinking》在可控的谜题任务中观察到，难度超过一定阈值后，模型使用的推理 token 反而减少。Anthropic 的研究则关注思维链的忠实性：模型未必在推理文字中披露影响答案的线索。两项工作分别考察复杂任务中的推理行为和推理解释的可信度，与视觉准确率属于不同评价维度。
测试者推荐三种不同规模的配置
根据本轮结果，测试者推荐了三种适合不同内存预算的配置：
- 本轮表列得分最高：Qwen3.6 27B Q4（关闭 thinking），得分 79.6/100。
- 较小的配置：Qwen3.5 4B Q4（关闭 thinking），得分 75.5/100，量化文件标注为 3.2 GB。
- 中等规模配置：Qwen3-VL 8B Q8，得分 74.4/100，量化文件标注为 8.1 GB。
文件大小并不等于完整运行所需显存，视觉处理和缓存还会占用额外内存。这些配置在 Apple M2 Max 上的排名，也不能直接当作消费级 GPU 的通用排行榜。部署图像描述、OCR 等任务时，可以把关闭 thinking 的结果作为基线，再在相同硬件和时限下比较开启后的准确率、完成率与延迟；涉及图像数学题或多步图表分析时，推理模式仍可能带来收益。
选择配置时，需要同时看质量、完成率和延迟
这项社区测试的价值，是展示同一模型的推理开关、量化配置与运行时限如何改变结果。它为本地部署提供了可复测的候选配置，也提出了值得继续研究的问题：额外推理何时帮助回答，何时只增加耗时，又何时使模型忽略了图像证据。进一步按任务比较，才能判断哪些场景值得启用额外推理。
