一个视觉 Agent 为了找出远处自行车的颜色，先后生成了六张裁剪图。最直观的做法，是把这些图片全部塞回对话历史；结果，图片越来越多，模型仍答错。2026 年 9 月 21 日提交的论文 VLM-in-Sandbox 展示了另一种处理：文件一张不删，但下一轮只把颜色遮罩和自行车局部两张证据重新交给模型，原始运行给出了正确答案。
这张案例图不能单独证明方法有效，却准确暴露了多模态 Agent 的新瓶颈：沙箱已经能裁剪、放大、画遮罩和运行视觉程序，问题开始从“能不能生成中间图片”转向“哪些图片应该继续占据模型上下文”。作者的答案不是增加一种视觉工具，而是在文件系统和模型之间加一层视觉状态管理。
图片保存在磁盘，不等于每一轮都要给模型看
Visual Sketchpad 和 PyVision 等工作已经展示，模型可以通过代码生成裁剪图、检测框、深度图或新图表，再依据这些中间结果继续推理。VLM-in-Sandbox 的增量位于下一层：当一次任务产生十几张甚至几十张图片时，如何让证据可追溯、可再次调用，又不让每张图永久进入后续请求。
它把每个输入图和生成图登记进 image ledger，保存文件路径、稳定 ID、来源和父子关系。文件即使退出上下文仍留在磁盘，模型可以从文字索引知道它存在。真正以像素形式进入下一次请求的，只有 focus 和 aux 两个活动槽：前者放当前主要证据，后者放配对的上下文图。模型通过 Promote 操作按 ID 把已有图片放进槽位；新图生成后不会自动获得可见资格。
这一区分很像把“资料库”和“工作台”分开。资料库负责不丢东西，工作台只摆当前要比较的两份材料。系统还只原样保留最近三轮操作，把更早动作压成确定性的文字摘要。于是，视觉文件数量可以继续增长，模型每轮反复处理的图片数量仍受约束。
18.6% 的节省，主要来自限制保留量
论文先在七个静态图像基准、四个基础 VLM、共 6,350 个样本上比较普通 VLM、把生成图持续追加进历史的 Sandbox Only，以及完整的 VLM-in-Sandbox。完整方法在四个模型的样本加权平均准确率上都高于另外两种设置；相对 Sandbox Only，四个模型的总 token 分别减少 25.7%、51.8%、16.3% 和 11.7%。这组广泛实验说明效果跨模型出现，但不同供应商和本地后端的 token 口径并不适合横向排名。
更能解释机制的是另一组 1,260 例实验。作者固定 GPT-4.1-mini、提示编译器、工具、步数预算和评分，只改变两个因素：图片由系统自动展示还是由模型选择，以及展示过的图片永久保留还是只留两个活动槽。
与“自动展示、全部保留”的 Matched-Auto-All 相比，完整方法准确率从 64.44% 升至 66.27%，增加 1.83 个百分点，同时少用 18.6% 的总 token。配对检验的 95% 置信区间为 0.40 至 3.25 个百分点，McNemar 检验的 p 值为 0.014。
拆开两个因素，结论更克制也更有用。只把活动图片限制为最近两张，已经减少 16.7% token；在同样两个槽位下，再让模型主动选择证据，只额外减少 2.3% token，准确率增加 0.63 个百分点，95% 置信区间跨过零，p 值为 0.185。换言之，这组实验明确支持“不要无限保留可见图片”，却还没有证明模型挑图稳定优于简单的最近两张策略。
缓存没有抹掉优势，工具成本也没有消失
缩短请求不一定就会等比例加速。推理服务可以复用前缀缓存，视觉编码、模型生成和工具执行也都占时间。作者因此在 8 张 H20、Qwen3.5-9B、vLLM、并发数为 1 的固定环境里重跑同一批 1,260 个样本。
相对 Matched-Auto-All，完整方法的缓存命中率反而从 67.0% 降到 64.0%，但未缓存的提示 token 从每例 13.50K 降到 11.29K。最终，首 token 时间减少 19.7%，端到端时间从 39.2 秒降到 34.1 秒，减少 13.0%。这证明在该本地后端里，少反复送入图片仍能转化为延迟收益；它不是 API 价格结论，也不能外推到不同硬件和并发设置。
更重要的基线是普通单次 VLM。论文明确写道，两种工具型方案消耗的总 token 仍大约高一个数量级。VLM-in-Sandbox 优化的是“既然已经决定让 Agent 多步调用工具，怎样少重复处理视觉证据”，并没有证明所有图片问题都值得启动沙箱。Qwen3.5-9B 在 RealWorldQA 上的多步路径甚至比直接回答更差，说明路由器首先要判断何时根本不该调用工具。
选对图片，仍可能读错图片
这套方法管理的是证据的生命周期，不是证据的真实性。论文附录给出一个反例：模型把标在车辆尾部的检测框解释成路面箭头，视觉理由并不成立，最终答案却碰巧正确。另一项独立研究 Beyond Accuracy 也把视觉定位和答案正确性拆成两条轴，发现 Agent 既可能找到正确区域却推理失败，也可能看错区域却答对。
因此，文件已保存、图片当前可见、模型正确理解证据，是三个不能合并的层次。VLM-in-Sandbox 的七个基准主要按最终答案评分，其中 HRBench-4K 还依赖固定的 GPT-4o-mini 判断器；它验证了上下文管理的收益，没有完成对每一步视觉依据的系统审计。数据使用边界也不统一：七个基准中有数据卡未声明标准开放许可的集合，也有非商业或禁止演绎条款。论文 v1 给出了接口、提示结构和完整统计设置，但没有附作者实现仓库，外部团队目前无法按原代码重跑全部轨迹。
这项工作的可复述结论不是“视觉 Agent 学会了挑图”，而是一个更朴素的系统原则：持久保存与持续可见应当分开。接下来真正决定它能否进入生产的，是两项仍未闭合的能力——先判断哪些任务值得启动昂贵的多步视觉工具，再对被提升到活动槽的证据做过程级核验，而不只检查最后答案。
