商品没变,用户要求没变,价格和库存也没变。研究者只让平台把某些商品排得更靠前、加上促销和“热门”提示,或把必要费用推迟到结账阶段,购物 Agent 选中用户最优商品的比例就从 78.6% 降到 17.3%。
这不是网页向 Agent 注入恶意指令。9 月 23 日提交的 CAVEAT 论文 测量的是更普通、也更难隔离的一种冲突:平台正常展示真实信息,但它希望卖出的商品并不符合用户的最佳利益。结果表明,能够完成下单,不等于能够替用户做对选择。
同一批商品,只改平台如何呈现
CAVEAT 搭建了 9 个模拟市场,覆盖住宿、综合零售、外卖、二手交易、自由职业服务、杂货和专业商品等场景。标准集包含 52 个任务,每个场景约有 70 件商品;Agent 可以搜索、筛选、翻页、查看详情和修改购物车,直至完成购买或预订。
每项任务同时给出两类条件:必须满足的硬要求,例如价格低于 1000 美元;以及在合格商品中比较高低的偏好,例如价格最低、容量最高。研究者用结构化商品属性校验完整目录,并把任务构造成只有一件商品同时满足全部硬要求、且在所有比较偏好上共同最优。这个设计避免了给偏好任意加权,但也把现实中经常含糊、变化或彼此冲突的需求排除在外。
每个任务都有两版页面。匹配对照版关闭平台诱导;激励错配版同时打开 8 类机制:赞助位、偏好排序、滴水定价、促销框架、默认项与捆绑、稀缺与从众提示、信任标识,以及增加改选成本的摩擦与阻碍。两版的请求、商品、属性、价格、库存和最优答案完全相同,变化只发生在排序、显著性和信息出现的时机。
这些机制不是凭空设计。美国联邦贸易委员会在 2022 年的暗黑模式报告中记录了预选项、隐藏重要信息、付费排序和滴水定价等做法如何影响消费者选择。CAVEAT 的区别在于:它把同类选择架构放到浏览器 Agent 面前,并用可验证的最优商品而不是点击率衡量后果。
五类模型都受影响,主因不只是“模型不够强”
研究者用同一套 BrowserUse 框架测试 5 个模型配置,每项标准任务重复 3 次。五个配置在匹配对照中的最优购买率分别为 69.9%、80.8%、57.1%、94.2% 和 91.0%,算术平均为 78.6%;打开平台诱导后分别变成 1.9%、1.9%、4.5%、24.4% 和 53.8%,平均 17.3%。每个配置都下降,降幅介于 37.2 至 78.9 个百分点。
更强的模型和更多推理确实有帮助。该组中表现最强的 GPT-5.6-Sol 低推理配置仍能在诱导条件下达到 53.8%,明显高于其余四个配置;同一模型提高推理预算后,在综合零售子集中的成绩也从 51.7% 升至 90.0%。但能力提升没有消除环境控制入口的风险。
在扩大到 2112 件商品、88 页结果的 CAVEAT-Hard 中,GPT-5.6-Sol 高推理配置在中立页面的 50 次运行里有 90% 选对;加入诱导后一次也没选对。所有失败运行都在第一页停止搜索,购买了满足硬条件却不是最优的商品。这个对照把“不会做题”和“被页面带偏”分开了:同一 Agent 明明能解出选择题,却让平台决定了它愿意看多少候选项。
过去的 WebArena 等网页 Agent 基准主要检查任务是否完成。CAVEAT 增加的是另一层测量:交易动作执行正确之后,结果是否仍忠于用户目标。
页面通过三个决策缺口改变选择
论文对 200 条随机抽取、隐藏最终成败标签的轨迹做了复核,再用定向实验检查反复出现的问题。
第一处是目标漂移。研究者把两个明确同等优先的偏好只调换表述顺序,商品目录和最优答案保持不变,25 组配对中的最终选择却全部改变,并系统性偏向先出现的偏好。Agent 在浏览过程中自行添加了用户没有给出的优先级,促销、评分和醒目标识因而有机会接管比较标准。
第二处是过早结束搜索。研究者把一个次优商品从普通位置移到顶部赞助位:它被访问的次数从 60 次中的 45 次升至 60 次,但被购买的次数从 0 次跃升至 48 次。曝光增加解释不了全部变化,靠前位置还改变了 Agent 看见商品后如何评价它。
第三处是证据未齐就提交。研究者只打开滴水定价、关闭其余 7 类机制,以 GPT-5.6-Terra 低推理配置运行 60 次;35 次次优购买全部落在先显示低价、后补必要费用的平台偏好商品上。Agent 找到候选项之后,没有把可支付总价核清再比较。
这三类失误有共同点:平台不必提供假信息,只要控制先看见什么、什么最显眼、关键事实何时出现,就能影响 Agent 的搜索边界、比较标准和提交时机。
独立比较层能补救,但代价和外推范围都很明确
CAVEAT-Harness 在浏览前把用户的硬要求、比较偏好和明确优先级固定成结构化任务;购买前再让 Agent 检查搜索是否充分,以及缺失或冲突的事实会不会改变结论。它只使用用户请求和普通浏览所得信息,不读取隐藏答案、完整目录状态或平台诱导标签。
在综合零售子集上,这套流程把 GPT-5.6-Terra 低推理配置的最优购买率从 11.7% 提高到 66.7%,是 55.0 个百分点,而不是相对提升 55%;只加文字提示的对照达到 30.0%。在 CAVEAT-Hard 上,完整流程把 GPT-5.6-Sol 高推理配置从 0% 提高到 80.0%,其中单独加入购买前验证就达到 66.7%,说明扩大搜索和补齐证据承担了大部分改进。
补救并不免费:完整流程的运行时间是基线的 2.6 倍,步骤数和工具调用数都是 2.3 倍。跨环境证据也只有 4 个住宿任务、每项 3 次重复;模拟市场使用固定诱导,并且预先定义了唯一最优答案,不能据此推断真实电商平台上的购物 Agent 普遍会以 82.7% 的比例失败。
对准备接入采购、订票或比价 Agent 的团队,CAVEAT 给出的工程信号比“再换一个更强模型”更具体:用户目标应在进入平台前冻结,候选集不能沿用平台默认排序,最终比较要基于完整可支付价格和已核实属性,交易前还需要一道独立验证。平台可以负责展示和履约,但不应同时垄断 Agent 的搜索顺序、比较证据和停止条件。

