Computer Use
也称 Computer Use Agent
让模型像人一样通过屏幕截图、鼠标点击和键盘输入来操作计算机软件,而不是只调用预先写好的专用接口。
如何理解
传统工具调用把每个动作做成模型可点的专用函数;计算机使用则让模型直接看屏幕画面,再决定光标移动、点击和键入。这样同一套能力可以覆盖大量未专门适配的桌面或网页软件。
实现上通常把截图喂给多模态模型,由模型估计要点击的像素位置,再经执行环境完成操作。当前系统仍偏慢、易点错,也更容易暴露提示注入等风险,因为屏幕内容可能来自不可信网页。
容易混淆的地方
有截图和点击并不等于可靠完成任务。短时弹窗、拖拽缩放等动作常被漏掉;在联网环境里还要把提示注入和误操作当成部署约束,而不是演示后的附带说明。