四款模型接受相同攻击，失守案例重合较少
2026 年 6 月 18 日，韩国 AIM Intelligence 与 KAERI 研究团队在 arXiv 上发布了 NRT-Bench——一个在模拟核电站控制室中对 LLM Agent 操作员进行多轮红队测试的基准。研究将四款前沿模型分别部署为五角色操作员团队，在六个关键安全功能（CSF）约束下运行模拟核电站，同时由自适应攻击者通过四个通道注入恶意消息。在固定攻击回放中，8.7% 到 12.1% 的会话以模拟系统丧失关键安全功能告终。四个模型的总失败率接近，但失守案例重合较少；另一组实验中，同一套防护配置对不同模型的效果也出现了相反方向的变化。
五个角色分工操作，环境是封闭的文本模拟器
NRT-Bench 的测试环境并非真实的核电站，而是一个封闭的文本模拟器。研究者选择这一场景，是因为核电站领域有公开记录的角色分工、分级授权、双人复核和操作程序，以及定义清晰的关键安全功能（Critical Safety Functions, CSFs）。这些规则便于构建可评分的实验。
在这个模拟器中，一个由五种角色组成的 LLM Agent 团队共同运行电站：
- 高级反应堆操作员（SRO）：拥有最终指挥权
- 反应堆操作员（RO）：负责一回路（反应堆主系统）
- 汽轮机操作员（TO）：负责二回路（汽轮发电机组）
- 辅助现场操作员（AO）：仅限低影响现场操作
- 安全技术顾问（STA）：独立审查决策
Agent 之间通过一个带类型的进程内消息总线通信，消息类型包括行动、报告、查询、升级、批准、否决和覆盖。攻击者无法直接写入这条总线——他们只能通过四个代表不同攻击者能力的 HTTP 入口通道注入消息。
用模拟器的安全状态评分，定位导致失守的消息
一些文本越狱基准依赖分类器或另一个 LLM 判断输出是否有害。NRT-Bench 的主要指标则由模拟器的安全状态变化决定：一旦任何关键安全功能（CSF）从"完好"（intact）或"退化"（degraded）转变为"丧失"（lost），运行立即终止，丧失原因被归因到具体导致该结果的消息。
这与 AgentDojo 等基准采用状态检查的思路相近。NRT-Bench 把检查对象换成模拟安全功能，使评分不依赖文本裁判的判断。这里的状态由抽象模拟器计算，并非真实反应堆的测量值。
总失败率相近，不代表各模型会被同一攻击突破
研究团队评估了四款前沿模型：GPT-5.4-mini、Claude Haiku 4.5、Gemma-4-26B 和 Qwen3.5-35B。每一次运行中，同一个模型同时担任全部五个操作员角色，因此每个结果表征的是单一模型作为整个团队的表现。
在配对回放协议下，所有模型面对相同的攻击消息序列。以模拟安全功能丧失为标准的攻击成功率（ASR_CSF）分别为：
| 模型 | 配对攻击成功率 |
|---|---|
| Gemma-4-26B | 12.1% |
| GPT-5.4-mini | 11.4% |
| Qwen3.5-35B | 11.4% |
| Claude Haiku 4.5 | 8.7% |
四个模型的攻击成功率处于 8.7%–12.1% 的区间。继续比较具体会话，可以看到总分没有显示的差异：
在 149 个配对攻击会话中，没有一个攻击能够同时击败全部四个模型。大约三分之一的会话至少击败了一个模型，但各模型的失守会话重合较少。
这说明，在这批攻击中，某个模型能抵挡的消息，另一个模型未必能抵挡。更换底层模型时，既要比较总体成功率，也要重测原系统关心的攻击类型。单一总分无法覆盖所有差异。
开启同一组防护，两个模型的攻击成功率一降一升
NRT-Bench 允许在满足依赖关系的前提下，分别开启或关闭防御组件，以比较它们带来的变化。其中包括十层可选的策略执行护栏（guardrail layers），以及安全技术顾问（STA）的四种授权模式。
团队在由场景、防护开关和顾问模式组成的八种配置中，对两款模型进行了完整比较：
在 C3 配置（稳态场景 × 全部十层护栏 × 顾问模式 A1）下，GPT-5.4-mini 的攻击成功率降至 1.4%，而 Claude Haiku 4.5 的攻击成功率却升至 43.1%——后者约为前者的 30 倍。 使用的是完全相同的防御代码、完全相同的攻击载荷和完全相同的随机种子。
更具体地说，当安全顾问（STA）从禁用（A0）切换到启用（A1）时，在稳态场景加全部护栏配置下，GPT-5.4-mini 的 ASR 从 20.8% 降至 1.4%（降低 19.4 个百分点），但 Claude Haiku 4.5 的 ASR 却从 33.3% 升至 43.1%（提高 9.8 个百分点）。追踪日志显示，Claude Haiku 4.5 驱动的 STA 对部分冒充权威的请求表示支持，而 GPT-5.4-mini 驱动的 STA 对相同请求表示反对。这里的 A1 是提供建议的模式，顾问不拥有强制否决权。
从聚合层面看，十层护栏策略栈对 GPT-5.4-mini 的净效果是降低了 6.9 个百分点的 ASR，而对 Claude Haiku 4.5 的净效果是略微提高了 2.1 个百分点。同一套防护的平均效果，在这两款受测模型上方向不同，因此需要分别评估。
作者提出了一种尚待进一步验证的解释：护栏层仅在操作员 Agent 发出可分类的结构化输出（行动请求、程序引用、升级请求）时才能触发；而 Claude Haiku 4.5 将更大比例的恶意回合输出为非结构化文本，从而绕过了分类器。护栏栈因此预设了操作员 Agent 自身具有一定程度的结构化合规性——当这种预设较弱时，护栏提供的保护也就更少。
冒充权威和逐步升级，在两款模型上都较易奏效
NRT-Bench 的攻击策略分为四大类：权威欺骗（Authority Spoofing）、紧迫性注入（Urgency Injection）、渐进式升级（Gradual Escalation）和套取或利用隐藏上下文（Knowledge-Driven Extraction）。
在所有攻击策略中，权威欺骗是整体上最有效的策略——在 GPT-5.4-mini 上的聚合 ASR 为 37.8%，在 Claude Haiku 4.5 上为 54.2%。渐进式升级（SG-6.3）在两个模型上的 ASR 均超过 40%。这两类攻击在两款模型上都较容易导致模拟安全功能丧失。
相比之下，知识驱动攻击（试图提取系统提示词）在两个模型上的 ASR 均低于 11%，但这一指标衡量的是模拟安全功能丧失，不能直接当作提示词泄露率。稳压器报警屏蔽（SG-2.3）在两个模型上的 ASR 均低于 15%，作者将这一表现归因于硬编码的旁路锁（护栏 G7）：它在代码层面拦截禁用报警的操作，无需由 LLM 判断。
最大的模型间差距集中在利用权威和策略结构的攻击上：冒充攻击（SG-1.1，+25.8 个百分点）、压制禁止关闭的报警（SG-3.1，+25.0 个百分点）和未引用程序依据的高权限行动（SG-4.2，+20.3 个百分点）。Claude Haiku 4.5 在这些子目标上对权威框架请求的服从性明显高于 GPT-5.4-mini。
更换模型或调整防护后，应重新测试整个系统
NRT-Bench 为设计和评估 Agent 系统提供了三点参考：
第一，用明确的状态变化衡量失守。 主要分数由模拟器计算，便于重复比较；论文也使用 LLM 辅助标注单轮行为，但这不决定主要成功率。作者公布了模拟环境、攻击数据集和回放工具，攻击生成器的内部实现则未公开。
第二，模型替换需要复测。 总分相近的模型可能在不同会话中失守，选型时应同时检查任务与攻击类型。固定回放保证消息可比较，但并未测出为每款模型单独优化攻击时的最坏结果。
第三，防护与模型应一起评估。 在这组实验中，添加相同组件并未对两款模型产生相同效果。系统既有确定性的代码规则，也有 LLM 驱动的安全顾问；后者的判断会受模型影响，不能把增加组件数量直接当作安全性提高。
Help Net Security 在 6 月 11 日介绍的 OWASP《Agentic AI 安全与治理现状》报告，也讨论了提示注入风险。模型若把外部数据当作操作指令，可能影响其工具调用；具体后果取决于系统给予的权限和执行约束。
NRT-Bench 衡量的是抽象文本模拟器中的行为，不能据此估算真实核电站的事故概率。实验更直接的提示是：模型、防护规则、审批方式和输入通道应作为一个系统接受测试，模型总分只能作为其中一项依据。
对准备让 Agent 参与操作的团队，后续评测应结合自己的任务、权限和故障条件，检查增加防护或更换模型后，哪些失败减少了，又出现了哪些新问题。
