LoC

失控风险讨论的不是单次误用，而是系统在能力上足够自主、足够难被干预之后，人类难以纠正其行为。METR 把这一问题写成：人类可能失去对那些整体上比自己更有能力、又追求冲突目标的 AI 系统的控制；它强调这未必出于故意，也可能是决策者没看见危险，或看见了却无法协调应对。

评估这一风险，通常要同时看能力增长的速度，以及监测、隔离和人工介入是否还能跟上。METR 对 Anthropic 的高权限评估，就是要判断 AI 是否正在加速 AI 自身的研发，从而让能力突然跃升、留给外界反应的时间变短。Meta 在 Muse Ember 的发布前安全评估里，也把失控风险与化学生物、网络安全并列，作为其扩展框架中的一类门槛。