2025 年 10 月 15 日，Scale AI 发布 VisualToolBench（VTB），一项考察多模态大模型（MLLM）能否主动用工具处理图像的评测。模型需要自己裁剪、翻转或增强图像，再根据处理后的画面作答。论文中的结果显示：在 1204 个开放任务上，最强模型 GPT-5-think 的通过率只有 18.68%；对三个模型的错误抽样则显示，超七成失误出在视觉感知：模型在看图这一步就漏读或认错了信息。
模型要自己决定何时裁图、旋转或提亮
现实里用户上传的照片很少是干净的：旋转、欠曝、杂乱、构图差。处理这些照片时，模型往往需要先把图像转正、放大、提亮，再据此推理。但论文指出，ScienceQA、MathVista、MMMU、ChartQA 等主流基准都把图像作为静态输入，要求模型看图作答，没有要求它主动处理图像。
VTB 补测的就是这种能力。它按四条原则设计任务：关键信息难以直接看清，需要处理图像才能获取；任务贴近真实场景；不明确提示该用什么工具，由模型自己判断何时、怎样调用；以及需要多步组合推理。论文的表 1 把 VTB 与既有基准逐项对照：动态视觉工具、rubric 评分、专家出题、推理、多轮交互，五者同时具备的只有 VTB。
1204 道题，至少让两个模型答错才会入选
VTB 共含 1204 个开放题和 2893 张图，在五个领域中的分布大致均衡：STEM 238 题（19.7%）、医疗 238 题（19.7%）、金融 243 题（20.2%）、体育 240 题（20.0%）、通用 245 题（20.4%）。单轮 603 题、多轮 601 题，后者涵盖追问澄清（Follow-up Test）、跨图时序推理（Temporal Reasoning）和逐步递进的推理（Progressive Reasoning），平均每题 2 到 5 轮对话。
所有题目由具有领域专长的人类作者撰写，再经过多轮筛选：培训→出题→用 o3、Gemini-2.5-pro、o4-mini 三个模型预评分→双重独立审查。一条硬门槛是：至少两个模型答错，题目才被保留。作者还要为每题提供参考答案、参考工具轨迹和评分细则，确保处理图像是解题的必要步骤。
从公开数据集里能直接看到题目长什么样：读一张工程图纸的"料号尺寸列"算出两个零件的直径和；把一张倒置的棋盘裁正后判断白方能否一步将杀；或是在一张被蓝色污渍遮挡的血型表里推断亲子血型组合。这些题的关键信息都藏在需要被定位、放大、翻转才能读出的细节里。
答案必须满足全部关键评分项，才算通过
VTB 给模型一个含六个工具的标准化接口：核心是 python_image_processing（可做裁剪、旋转、翻转、亮度/对比度调整、增强，并反复将处理结果返回给模型），辅以 Python 解释器、网页搜索、计算器、网页文本提取和历史天气查询。每题最多 20 次工具调用，而人类参考答案通常不到 5 次，可用来比较模型与人类处理图像的效率。
评分使用 7777 条细则（rubric），覆盖视觉理解、真实性、指令遵循、推理、表达五个维度。每条细则被赋予 1 到 5 的权重，权重 4 或 5 的细则被标为"关键项"：只有当一条回答满足全部关键项，才计入通过率（APR，Average Pass Rate）；此外，ARS（Average Rubric Score）允许答案获得部分分数，按满足细则的加权比例计算。为支撑大规模评测，评分由 o4-mini 自动完成，与人工标注的整体对齐率为 88.1%——客观细则达 91.7%，主观细则只有 74.0%。
抽样错误中，超七成出在视觉感知
论文评测了 16 个带函数调用能力的模型。GPT-5-think 以 18.68% 的 APR 登顶，GPT-5 为 16.96%、o3 为 13.74%；11 个模型低于 10%。开源模型里最好的 Llama4-Scout 只有 1.58%、Llama4-Maverick 1.41%，与最强闭源相差约一个数量级。多轮任务整体比单轮更难，因为错误会在 2 到 5 轮对话里累积。
错误分析进一步区分了模型在哪一步出错：对 GPT-5、Gemini-2.5-pro、Claude-opus-4.1 三个模型抽样，视觉感知错误分别占 71.73%、78.01%、82.11%，而推理错误只有 9% 到 12%，计算错误更是普遍低于 6%。这意味着，在这些抽样错误中，模型更常在读取图像信息时就已出错，后续推理也就失去了可靠依据。
工具使用数据进一步印证这一点。调用量不是越多越好：o3 总共调了 16116 次工具，成绩却不如只调 10212 次的 GPT-5；Claude 系列的工具调用主动性高达约 95%，APR 却普遍低于 6.5%。消融实验显示，去掉工具后 GPT-5 掉 11 到 14 个百分点，而 Gemini-2.5-pro 反而提升 2.7 个百分点——作者推测，前者靠迭代图像编辑补偿较弱的原生感知，后者原生视觉更强、却因不必要地调用工具而受损。python_image_processing 是使用最频繁的工具，在 GPT-5 上占全部工具调用的 92%。
后续榜单成绩提高，通过率仍不足一半
VTB 官方榜单仍在持续更新。在后续榜单中，榜首是 Muse Spark 1.1（约 44.77% APR），其后是 GPT-5.4（29.17%）、Gemini-3.1-Pro（28.97%），论文时的最强模型 GPT-5-think（18.68%）已落到第六名附近。这期间最好成绩提高到约 2.4 倍，但通过率仍不足一半，模型借助工具读取图像的能力还有提升空间。
这些成绩也有局限：评分依赖 LLM-as-judge，主观细则的对齐率（74.0%）明显偏低；数据与评测均由 Scale AI 单方构建，结果尚无大规模第三方复现；模型持续针对榜单优化，也可能造成对这项基准的过度拟合。对 AI 从业者而言，把多模态模型用于读图和辅助决策时，需要单独检查它能否准确获取图像信息；后续推理再复杂，也难以弥补一开始就读错的内容。
