Red Teaming · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/智能体/Red Teaming
  • AI Agent
  • Tool Use
  • RAG
  • MCP
  • Context Engineering
  • Agent Memory
  • Planning
  • Workflow
  • Multi-Agent
  • Agent Observability
  • Agent Skills
  • Code Sandbox
  • Coding Agent
  • Computer Use
  • Generative UI
  • Red Teaming
  • Training Containment
智能体 · 词条目录
  • AI Agent
  • Tool Use
  • RAG
  • MCP
  • Context Engineering
  • Agent Memory
Planning
  • Workflow
  • Multi-Agent
  • Agent Observability
  • Agent Skills
  • Code Sandbox
  • Coding Agent
  • Computer Use
  • Generative UI
  • Red Teaming
  • Training Containment
  • Red Teaming

    也称 AI Red Team

    用对抗方式主动试探 AI 系统,找出安全、滥用与策略漏洞,再据此加防护或做评测。

    如何理解

    红队测试假设攻击者会故意诱导系统做出有害或越权行为。做法包括人工专家探测、众包试探,以及用模型自动生成攻击样本;对智能体还要测工具调用、多步规划和外部环境访问。

    它常作为定量评测的前置:先定性摸清威胁模型与有效攻击手法,再沉淀成可重复的测试集与自动化评估,用来比较缓解措施是否真的起作用。

    容易混淆的地方

    红队不是一次性宣传活动,也不是通用安全认证。不同团队对同一威胁模型的测法差异很大,缺少标准时不宜直接拿结果做跨系统排名;测完若不回到缓解与再测循环,价值有限。

    参考来源

    1. Anthropic:Challenges in red teaming AI systems(新窗口打开)