Computer Use · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/智能体/Computer Use
  • AI Agent
  • Tool Use
  • RAG
  • MCP
  • Context Engineering
Agent Memory
  • Planning
  • Workflow
  • Multi-Agent
  • Agent Observability
  • Agent Skills
  • Code Sandbox
  • Coding Agent
  • Computer Use
  • Generative UI
  • Red Teaming
  • Training Containment
  • 智能体 · 词条目录
    • AI Agent
    • Tool Use
    • RAG
    • MCP
    • Context Engineering
    • Agent Memory
    • Planning
    • Workflow
    • Multi-Agent
    • Agent Observability
    • Agent Skills
    • Code Sandbox
    • Coding Agent
    • Computer Use
    • Generative UI
    • Red Teaming
    • Training Containment

    Computer Use

    也称 Computer Use Agent

    让模型像人一样通过屏幕截图、鼠标点击和键盘输入来操作计算机软件,而不是只调用预先写好的专用接口。

    如何理解

    传统工具调用把每个动作做成模型可点的专用函数;计算机使用则让模型直接看屏幕画面,再决定光标移动、点击和键入。这样同一套能力可以覆盖大量未专门适配的桌面或网页软件。

    实现上通常把截图喂给多模态模型,由模型估计要点击的像素位置,再经执行环境完成操作。当前系统仍偏慢、易点错,也更容易暴露提示注入等风险,因为屏幕内容可能来自不可信网页。

    容易混淆的地方

    有截图和点击并不等于可靠完成任务。短时弹窗、拖拽缩放等动作常被漏掉;在联网环境里还要把提示注入和误操作当成部署约束,而不是演示后的附带说明。

    参考来源

    1. Anthropic:Developing a computer use model(新窗口打开)