Red Teaming
也称 AI Red Team
用对抗方式主动试探 AI 系统,找出安全、滥用与策略漏洞,再据此加防护或做评测。
如何理解
红队测试假设攻击者会故意诱导系统做出有害或越权行为。做法包括人工专家探测、众包试探,以及用模型自动生成攻击样本;对智能体还要测工具调用、多步规划和外部环境访问。
它常作为定量评测的前置:先定性摸清威胁模型与有效攻击手法,再沉淀成可重复的测试集与自动化评估,用来比较缓解措施是否真的起作用。
容易混淆的地方
红队不是一次性宣传活动,也不是通用安全认证。不同团队对同一威胁模型的测法差异很大,缺少标准时不宜直接拿结果做跨系统排名;测完若不回到缓解与再测循环,价值有限。