在 SAFARI 论文给出的一个路口案例里,车辆正以 40 公里时速减速,33 米外有行人横穿车道。模型判断的暴露度和伤害严重度都与工程师一致,却把可控性从 C1 判成 C3,最终把 ASIL B 推到了 ASIL D。文字看起来完整,风险等级却沿着一个错误参数走到了另一端。
这正是 SAFARI 想测出的落差。西交利物浦大学等机构的研究者在 9 月 17 日发布这套汽车危险分析与风险评估基准,用 3000 个脱敏工业案例测试九个前沿模型。论文报告,模型往往能说清事故后果和受影响的人,却难以稳定保留道路、距离、天气等场景条件;进入 ISO 26262 约束的风险分类后,最佳 ASIL 宏 F1 只有 0.261。
这个结果不等于模型完全不能辅助汽车安全工程。它说明的是更具体的边界:模型适合扩展危险线索、起草说明,尚不适合独立决定会传导到安全要求的风险等级。真正需要人工把关的位置,不是等一份流畅报告写完再签字,而是场景条件进入分析时,以及可控性被赋值时。
一条 HARA 链里,前面的遗漏会改变后面的等级
ISO 26262 处理的是量产道路车辆中电气或电子系统故障行为造成的危险。HARA 位于概念阶段:工程师先把故障与具体运行场景组合成“危险事件”,再判断暴露度 E、严重度 S 和可控性 C,并按三者组合推导汽车安全完整性等级 ASIL。ASIL 随后约束安全目标和开发要求。
SAFARI 把这条链拆成两个相连任务。第一阶段输入故障模式、道路类型、天气、能见度、交通参与者、车辆速度和相对位置等 11 个字段,让模型生成危险事件、危险后果和风险人群;第二阶段要求给出 E/S/C、由此派生的 ASIL、安全目标和故障容错时间间隔 FTTI。
这种设计比一般汽车问答更接近真实工作的难处。识别“意外输出驱动力可能导致碰撞”只是起点。下坡还是平路、前车距离是否超过安全距离、是否有驾驶员、行人能否避让,都会改变暴露度或可控性。模型若把这些条件压缩成一句通用的“车辆意外加速并追尾”,语句没有明显错误,后续分级所需的信息却已经丢失。
较早的 Aegis 与自动驾驶安全需求研究已经展示了 LLM 配合检索、反思、提示优化和专家评审来起草 HARA 或安全需求的可能性。SAFARI 的增量是把开放文本和结构化风险参数放进同一个大样本测试里,观察“能写”能否继续传导为“能分级”。答案目前是否定的。
模型认得事故结果,却没有把场景钉牢
论文用四个维度评价开放文本,并让 Qwen3.6-Max 参照工程师答案打 1 至 5 分后归一化。九个模型在少样本提示下,对物理后果的一致性得分为 0.626 至 0.988,对风险人群覆盖为 0.956 至 0.999;但衡量危险链条与场景是否对齐的 HLM 只有 0.185 至 0.200。
这组差异解释了为何输出容易“像报告”。碰撞、受伤、驾驶员、行人等通用要素通常都在,真正决定风险的道路形态、低附着路面、能见度和车距却容易消失。模型写出了合理的事故类型,没有完整重建这个事故为何会在当前场景发生。
开放文本成绩还不是全量人工评分。研究者抽取 180 条输出交给通过 ISO 26262 认证的工程师评分,报告四个维度上与模型裁判的 Spearman 相关系数为 0.807 至 0.951;又用 GPT-5.5 复评两个 Qwen 模型的输出,对应相关系数与 Qwen3.6-Max 的最大差值为 0.027。这能支持裁判在该样本上的相关性,不能替代对 3000 条案例、九个模型全部输出的人工核验。
ASIL 的 0.261,暴露了类别失衡和可控性瓶颈
结构化任务采用宏 F1,是因为数据分布很不均衡。3000 条案例中,81.7% 的标签是不进入 ASIL A 至 D 的 QM,ASIL A、B、C 分别只占 4.3%、7.2% 和 6.8%,没有 ASIL D。若只看准确率,模型可以靠多数类得到一个看似更好的数字;宏 F1 会分别计算每一类,再等权平均,因此更能暴露少数安全等级是否被识别。
九个模型、两种提示方式共 18 个配置里,各指标最好成绩分别是:E 为 0.318、S 为 0.514、C 为 0.216、ASIL 为 0.261。最佳 ASIL 准确率则是 0.533,但来自另一个配置,其 ASIL 宏 F1 只有 0.247。换句话说,命中更多多数样本,并没有同时解决少数风险等级。
论文还做了一个只读取少量场景字段的透明规则基线。它的 S、C、ASIL 宏 F1 分别为 0.444、0.145 和 0.171;虽然各项最佳 LLM 都更高,这套简单规则仍击败了 18 个 LLM 配置中的 12 个 S 结果、13 个 C 结果和 5 个 ASIL 结果。模型的优势并未稳定覆盖每种风险判断。
可控性是最窄的瓶颈。它要求同时考虑车辆动力学、环境、交通参与者和反应时间,单个 C 判断错误又会直接改变 ASIL。论文的人工错误分析正把一类主要失误定位在这里,但没有报告这类错误占全部失败的比例,因此不能把所有 ASIL 错误都归因于可控性。
写出推理过程,反而更常把风险判成 QM
研究者给每个模型提供三个从训练集检索的示例,比较少样本提示与要求外显推理过程的 CoT。CoT 对 FTTI 数值估计普遍有帮助,却经常拉低危险链对齐、物理后果、严重度、可控性和 ASIL 的成绩。
最值得警惕的不是平均分下降,而是错误方向。把真实标签为 ASIL A、B、C 的案例误判为 QM 的比例,在九个模型汇总后从少样本提示的 14.9% 升至 CoT 的 41.0%;其中 ASIL C 从 10.8% 升至 39.2%。在这个基准上,要求模型多写一段推理没有带来更稳健的风险分类,反而更容易把需要安全措施的案例降到 QM。
这不证明所有推理方法都会伤害 HARA。论文只测试了一种外显 CoT 写法,部分模型使用 0.1 温度,其他模型保留默认解码设置,也没有报告重复运行、置信区间、API 版本或访问日期。可以落地的结论更窄:在作者这套三示例提示和模型组合中,不能把“有推理过程”当作分级更可靠的证据。
3000 条数据尚未公开,成绩还不能独立复算
SAFARI 的案例来自多个工业汽车安全项目,聚焦“非预期驱动力或扭矩输出”这一种动力系统故障。作者称原始 HARA 记录由认证工程师在工作坊中形成,每条经两名工程师独立复核,分歧由资深工程师裁决;3000 条数据按 1600/400/1000 划分为训练、验证和测试集。
论文没有披露项目数量,也没有充分说明 3000 条样本中有多少是独立工作坊记录、多少来自参数化场景组合。更直接的限制是,论文写明数据可从 GitHub 获取,但所指仓库的唯一固定提交只有一行 README 和 MIT 许可证,没有案例文件、数据卡、拆分索引、提示词或模型输出。因而现阶段无法核对脱敏后还保留了哪些上下文、检查近重复样本、重算标签分布和混淆矩阵,也无法确认许可证是否明确覆盖尚未发布的数据。
这使 SAFARI 更接近一份有价值的评测报告,而不是已经可复现的公开基准。论文成绩仍能说明作者实验中的明显落差,使用者却不能据此比较自己的系统,或验证 0.261 是否能在相同样本与提示下重现。
人工审核应前移到场景和可控性,而非只看最终文档
对安全团队而言,SAFARI 最实用的启示不是拒绝 LLM,而是重新安排它的位置。模型可以先生成危险候选、补充风险人群、帮助检查文档覆盖;工程师应在场景条件被归一化时确认道路、天气、速度、距离和参与者没有丢失,并在 C 值进入 ASIL 查表前单独复核可控性依据。ASIL 的映射本身是确定的,不该再交给自由文本生成。
上线门槛也不能只设为“报告读起来合理”。至少要分别监测场景字段保留率、E/S/C 每类召回、A/B/C 被降为 QM 的比例,并保存每个标签对应的证据。对 SAFARI 本身,接下来决定其价值的变量同样具体:数据与拆分是否真正发布,提示和运行配置能否重建,跨故障类型测试是否仍出现同样的断裂。
一份危险叙事可以很流畅,安全等级却只会服从进入查表前的那几个参数。SAFARI 把这条裂缝量化出来;在数据开放和独立复现完成之前,它首先是一项对工作流的警告,而不是一张可直接用于认证或采购的模型排行榜。

