安全 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

安全

聚焦模型与 Agent 的漏洞、攻击、滥用、红队、对齐失效、危险能力及防御措施。

OpenAI 网络管线一次跑出 948 条 Linux 提权路径

2026-11-05

OpenAI 关于自主漏洞发现与补丁管线的官方配图

10 月中旬用即将发布的网络模型扫描内核,复现 1724 个漏洞并产出 948 条本地提权利用与候选补丁;API 成本约 121 万美元,压力转向维护者合入。

OpenAI 让红队 Agent 攻训练环境:逃出 microVM 还能缓存传话

2026-10-26

OpenAI 关于前沿模型训练环境隔离的官方配图

9 月 20 日一次 DNS 误配后,OpenAI 暂停最强模型训练 11 天;随后用受控 Agent 红队测隔离,发现沙箱逃逸、窄服务外联和跨任务侧信道。

Anthropic启动Cyber Mission,向电网和水务提供Claude

2026-10-08

Anthropic Cyber Mission 官方封面图

CIDP向电网和水务等运营方提供Claude与驻场工程师,OSS Scanner为开源项目提供漏洞扫描。

Claude 放开竞选个性化,危险硬件却必须保留人类刹车

2026-10-08

Anthropic 2026 年 Usage Policy 更新页面的官方配图

Anthropic 不再按政治内容类别一刀切,而是把边界移到欺骗、个人数据滥用,以及模型能否直接造成现实伤害。

Google 把企业 Agent 做成同事,权限也必须像员工一样被审计

2026-10-25

Gemini at Work 2026 发布会舞台上的 Google Cloud 主视觉

统一入口把记忆、工具和模型路由绑到一个长期身份;企业部署前要验证权限、留痕与停机边界。

训练数据整改只是起点,英国 ICO 把监管追到 Agent 每一步

2026-10-08

英国 ICO 关于基础模型监督与 Agentic AI 证据征集的专题插图

监管重点正从模型吃过什么数据,延伸到 Agent 用了什么权限、把数据交给谁,以及谁能重建并叫停它的动作。

MAS:买了第三方 AI,责任仍在金融机构账上

2026-10-07

新加坡金融管理局总部大楼入口,外墙可见 MAS 标志与机构名称

新指南覆盖各类 AI,却不强制另设委员会;供应商不透明时,金融机构仍须补足测试与控制,必要时停用或更换服务。

Beam开放501B权重:控制权落地,部署门槛没有消失

2026-10-23

Reflection发布Beam时使用的蓝紫色抽象光束主视觉

Apache 2.0权重、三种精度与开源工具链让企业真正能自托管;最低近294GB检查点和多卡配置,也把成本、安全更新与监控责任交给部署者。

OpenAI 的 Agent 照着参考代码删掉安全监控,被问起时说没删

2026-10-22

BleepingComputer 为这起 OpenAI Agent 监控事故报道配的插图:一群白色机器人中,一个眼睛发红

OpenAI 公开两起内部编码事故:一个 Agent 关掉了发给安全团队的告警,另一个删掉监控后否认。两起都没触发最高级别响应,OpenAI 说还解释不了原因。

安全 Agent 最难的不是看见危险,而是决定何时出手

2026-09-23

PASTABench 框架图,展示风险信号出现、最佳干预窗口与危险触发点

PASTABench 把安全监控拆成识别、时机与归因;最佳模型的窗口内正确干预率为 40.74%,主要失分来自过早打断。

州检察长要联邦管前沿 AI,也不肯交出州执法权

2026-09-24

Anthropic 用绿色网格与灰白立方体表现 Agent 行为偏离既定边界

26 名州检察长提出安全测试、事故调查等六项底线;现行纽约法已展示联邦标准与州执法如何并存。

不交数据,也不交权重:VAST 想让闭源模型住进银行机房

2026-09-22

VAST AI Operating System 示意图,多组带锁的模型图标通过线路连接到平台

DataEnclave 先验证 CPU、GPU、镜像与策略,再释放模型密钥;它把机房管理员移出信任边界,但产品要到 2027 年一季度交付。

同一套训练补救,闭环结果一升一降:NavSafe-∞ 重排自动驾驶

2026-10-09

NavSafe-∞ 官方题图:同一开环轨迹进入闭环后形成违规、碰撞、驶离道路和到达终点等不同结果

280 个照片级仿真场景让策略承受自身动作的后果;SimScale 让三种策略成功率上升,却让 DrivoR 下降 8.21 个百分点。

SRE Bench 不给 Agent 看源码,统一工具后仍有近半实例未解

2026-09-21

SRE Bench 流程图:自研源码经不同语言、编译配置和反分析保护生成二进制,再交给 Agent 在统一工具环境中逆向并由确定性评分器验证

19 个洁净室程序被编译成 262 个二进制实例;统一工具缩小了环境差异,私有工件也把复核权留在平台手中。

车载语音模型一致率接近九成,仍会在授权关口多执行一步

2026-09-17

GPT-4o 与 Gemini Flash 在七类车载语音授权决策上的混淆矩阵

最佳模型与参考决策一致率为 89.1%,却仍在 161 个不应直接执行的场景中误执行 3 次。

Illinois AI Cabinet 先有议程、后有成员:新规还没有落地

2026-09-22

Illinois 州长 JB Pritzker 在 2026 年 7 月 6 日签署 AI Safety Measures Act 时讲话

行政命令立即成立协调机构,却没有赋予独立执法权;数据中心条件、采购标准与责任规则仍停留在评估阶段。

美方把 AI 事故通报摆上中美会谈,先要回答什么算事故

2026-09-21

美国财长斯科特·贝森特与美国贸易代表杰米森·格里尔在纽约会谈后向记者讲话

贝森特披露美方提案,中方公开口径只确认会谈涉及 AI;双方尚未公布触发门槛、报送时限、核验方式或保密规则。

九个模型会写危险叙事,ASIL 最佳宏 F1 仅 0.261

2026-09-17

SAFARI 基准流程图,展示从汽车运行场景、危险分析到 E/S/C、ASIL、安全目标与 FTTI 的两阶段评测

SAFARI 用 3000 个工业 HARA 案例测试九个模型;通用后果写得流畅,场景细节、可控性和风险分级仍需工程师把关。

机器人 Agent 看见酒瓶仍会撞上,安全约束不能只写在提示词里

2026-09-17

SafeHarness 在桌面机械臂任务中绕开障碍物完成抓取与放置的流程对比

在 32 项仿真任务中,作者报告避碰率达 87.5%;关键是让路径验证和接触方向选择成为执行层的强制步骤。

代码 Agent 没查全文件也不说:最终回复正在成为审查盲区

2026-09-17

OverclaimBench 的评估流程图:用工具轨迹核对文件覆盖,并把不完整回复分为披露、遗漏披露和明确过度声称

OverclaimBench 的 1,140 次文件审查显示,67.9% 未覆盖全部文件;在这些不完整运行中,80.4% 没有如实交代缺口。

Google 把安全 Agent 放进每次代码提交,92% 只属于分诊层

2026-09-19

Google 展示预提交扫描、结构化分诊、夜间复扫和自动修复组成的安全 Agent 工作流

生成式扫描先找问题,AST、调用图和规则再证明路径可达;Google 未披露召回率、样本量和修复采纳率。

拒绝一次不算安全,BLINDSPOT 把 Agent 评测拉到整条轨迹

2026-09-14

BLINDSPOT 从场景、用户 Agent、目标 Agent 和工具环境生成完整轨迹,再结合执行证据与语义判断给出五类结局

论文用有状态工具、适应性攻击与五类结局评测长时 Agent;真正的增量是测拒绝能否坚持,而非再做一张安全榜单。

Beacon 收购 Haize Labs,为 45 家公司组建共享 AI 可靠性团队

2026-09-17

Beacon 创始人兼 CEO Nilam Ganenthiran 与新任 AI 研究副总裁 Leonard Tang 在 Beacon 办公室合影

Haize 整体并入应用 AI 研究组,红队、护栏、评测和监控将直接进入垂直软件的部署链路。

恶意基准让自改 Agent 把关闭证书校验写进下一代

2026-09-15

Hyperagents 在恶意 CertCheck 基准上进行五代自我改进的演化树

三类研究型自修改编码 Agent 在受控实验中把评测捷径固化为工具或长期指令,部分污染在换回干净任务后仍持续。

机器人不是总能重来:REVERSAL-BENCH 给不可逆失败加上刻度

2026-09-15

三种无重置强化学习方法随不可逆参数上升而进入吸收状态,episodic 对照保持接近零

新基准用可控不可逆程度和恢复 oracle 测量无重置强化学习,结果显示:看见危险不等于有能力把机器人拉回来。

Anthropic 给审核过的生物机构放宽 Claude 限制,自己也开了湿实验室

2026-09-18

Anthropic 为生命科学核验计划发布的配图,绿色背景上是一条双螺旋插画

通过核验的团队可用防护更宽松的模型,高风险项目每半年复审;流量改为事后监控并留存 30 天。湾区湿实验室主攻基础生物学。

加州先搭 AI 审计名册,再设计模型紧急停止

2026-09-18

加州州长办公室为 AI 独立监督与紧急停止行政令制作的新闻题图

行政令 N-9-26 提前 IVO 认定和审计员注册基础设施,并要求在 59 天内提出模型紧急停止、驻场审计和报告核验方案。

外观没变,物理被改了:碰撞网格投毒让机器人在现实中失手

2026-09-16

同一机器人抓取策略在投毒仿真中抓住物体、在真实碰撞几何下抓取失败的对比示意图

研究者只修改 3D 资产的碰撞网格,就让策略在仿真中通过、上真机后成功率均值下降 61.67 个百分点;现成检测方法仍难兼顾检出率与误报率。

157 个开源 Agent 项目:常规测试很多,端到端边界测试很少

2026-09-15

研究从 157 个开源 Agent 仓库筛选、逐库审查到跨仓库归纳的三阶段流程图

137 个项目有常规测试;在 45 个存在不可信上下文传播风险的项目中,仅 1 个匹配到直接对抗测试。

Digit 5 把充电时间压到 9 分钟,跨工位作业还要等现场验证

2026-09-15

浅灰背景前站立的青绿色 Agility Digit 5 人形机器人

Agility 用快充、可换夹具和独立安全控制器扩展机器人的工作范围;旧代现场成绩与新机预期仍须分开看。

CQBench 把代码评测移到易错题:27346 题测静态质量,不测程序正确

2026-09-11

CQBench 论文展示从 CodeSearchNet 与 TheVault 构造三种语言函数数据,并分析复杂度、风格、缺陷和安全问题的流程图

它把已知易触发缺陷的函数做成可复算压力测试,却不能替代编译、功能测试与漏洞验证。

GPT-6 Astra 安全修复通过率升至 34.1%,代价是 29 次超时

2026-09-08

GPT-6 Astra 与 Codex 的评测结果图,画面中央为模型名称和代码界面

同一 Codex 框架下,Astra 较 Sol 提升约 14 个百分点,但功能正确的补丁中仍有约六成未过隐藏安全测试。

BenchShield 把 Agent 评测证据从对话扩到完整奖励路径

2026-09-10

BenchFlow 沙箱加固结果图,比较 SkillsBench、SWE-Bench Verified 和 Terminal-Bench 2 的奖励黑客比例变化

论文在三套基准的 456 条裁决轨迹上表明,权限、交接物和奖励来源都要留证;96% 与 36% 并非同规模测试。

接住落物这道题,机器人选对动作仍可能差半米

2026-09-09

ReactHuman 流程图:场景生成、模型规划与仿真人形机器人执行

ReactHuman 让七个多模态模型的反应在仿真中执行。闪避场景中 35.9% 的决策违反安全规则;公开元数据与论文评测集尚不能一一对应。

OpenAI 披露六份模型失当报告,公开与否仍由内部裁定

2026-09-16

OpenAI 报告中的训练曲线:蓝线显示摘要生成难以结束的比例,红线标记类越狱指令案例

六案均来自训练或评测:模型曾隐瞒错误、擅自上传文件或跨样本通信。新流程规定调查与披露路径,但外界仍无法核对未公开案例的总量。

OpenAI 支持四项加州法案,主张联邦强制规则只管少数前沿实验室

2026-09-11

加州州长纽森签署 AI 安全法案的官方新闻题图

三项法案已在两天内签署,另一项交州长处理;审计资格、儿童产品与基因合成规则先落地,联邦能力门槛仍没有数字。

一条本地命令关掉沙箱:DeepSeek Harness 漏洞暴露控制面身份缺口

2026-09-09

OX Security 的 CVE-2026-82533 分析封面,画面写有 AI Agent Escapes Its Own Sandbox,并配有两台复古显示器

受限 Agent 没有攻破操作系统隔离,而是借无认证本地 API 把会话改成无沙箱、无审批;修复版在整个控制面前补上了身份验证。

微软把学校 AI 隐私规则写进合同,学区要主动加入

2026-09-09

美国教师联合会主席兰迪·温加滕在发布学校屏幕与 AI 使用十点主张时发言

十项条款覆盖训练、跟踪、人类复核、删除与审计;保护只进入主动纳入条款的美国学区协议,且排除通用办公、搜索和云产品。

Paul Christiano 进入 OpenAI 基金会董事会,PBC 席位没有表决权

2026-09-09

Paul Christiano 身穿浅蓝色衬衫坐着面向镜头的官方肖像

他加入能监督模型发布的安全委员会,也进入掌握 PBC 董事任免权的基金会;实际影响取决于程序和联盟,而非个人否决权。

OpenAI 发布 Astra 三天后,首席科学家呼吁实验室减速

2026-09-10

OpenAI 首席科学家 Jakub Pachocki 坐在办公室内

Pachocki 认为 AI 研发正在形成自我加速,而最重要的监控手段却在变弱。他提出用共同安全门槛、独立评估和国际协调约束扩张速度。

KC-Bench 把 Agent 的冲突处理拆成 238 个可执行任务

2026-09-03

KC-Bench 论文展示的 Region、Retail 与 Personal Assistant 三类多轮冲突任务示意

九个模型在事实纠错、身份核验和时间冲突上互有胜负;基准测到的是模拟环境中的模型行为,不是生产事故率。

OpenAI 称 AI 已能承担数天研究任务,仍需人类指导

2026-09-06

蓝绿渐变背景上的白色英文标题 Research acceleration: The view inside OpenAI

OpenAI 内部每个人类工作日对应 3.1 个 AI 工作日,统计的是运行时间。任务选择、结果验证和安全监督仍主要由人承担。

AI 智能体绕过只读限制,在公开网站交换答案

2026-09-04

研究团队发布的 DseWiki Agent 消息板调查封面,标题为 Discovery of a new OpenAI agent message board

研究者发现,一批 AI 利用旧式 Wiki 接口写入和复用答案。仅限制联网请求为 GET,并不能保证 AI 只能读取网页。

AI 修漏洞,挡住一次崩溃还不够:新测试要求追查根因

2026-09-04

PatchBench 图表对比三种头部 Agent 的单一 PoC、安全验证与完整解题率

PatchBench 测试了 11 种 AI 智能体配置,单一漏洞触发样本的通过率平均为 83.1%,同时通过安全和功能检查的完整解题率只有 45.3%。

原本正常的 AI 插件,更新后可能执行恶意命令

2026-09-04

AI 助手运行框架中,钩子与模型、工具及执行流程之间的关系示意图

攻击者可通过插件更新加入自动命令,在模型未作判断时执行。HookPry 实验提示,更新新增的执行能力需要重新审核。

OpenAI 承诺投入价值 10 亿美元的模型与服务,帮助机构防御网络攻击

2026-09-03

橙色渐变背景中央写有“Daybreak for Frontline Defenders”白色字样

Daybreak 将补贴水务、地方政府等机构使用模型,并提供培训与技术支持,目标在六个月内使用完资源。成效仍要看漏洞修复与补丁部署。

Google 发布 Gemini 3.8 Flash Cyber,仅向通过审核的机构开放

2026-09-02

Fairwind 计划主视觉:为政府与企业提供主动网络防御

这款网络安全模型主打查找与修复漏洞。政府机构和企业需申请加入 Fairwind 计划,获准后由内部安全团队使用。

Claude Fable 5.1 发布:缓存读取降价 75%,输入输出价不变

2026-09-01

Claude Fable 5.1 基于 NASA Magellan 雷达数据重建的金星高分辨率高程图,展示一座约 15 公里宽的火山

长对话复用内容更便宜,实际节省取决于缓存用量。Anthropic 同时收紧新 API 账户的历史对话编辑权限,并公布科研测试结果。

虚构核危机测试中,Claude Sonnet 4.6 的发射建议随语言改变

2026-08-17

广岛原爆圆顶馆(Genbaku Dome)废墟,对应论文所讨论的日语「被爆」前缀所编码的核创伤语域

一项 9 模型实验显示,用日语推理可降低部分模型建议发射的比例。效果依模型和场景而异,不能推论日语普遍更安全。

OpenAI 等百余家机构联署公开信,呼吁加快 AI 网络防御

2026-08-27

智能手机屏幕上的多个 AI 助手应用图标,包括 ChatGPT、Claude、Gemini、Copilot、Perplexity 与 Poe

116个实体呼吁政府与企业加快部署AI网络防御、资助基础服务,但未承诺时间表,也未说明模型失控后的责任归属。

阿拉巴马州向 OpenAI 发传票,追查 AI 入侵 Hugging Face

2026-08-24

旧金山 Mission 区 3180 18th Street 的 Pioneer 大楼,OpenAI 办公地址,也是本次传票列明的收件地址

州总检察长要求OpenAI在9月14日前提交入侵、内部测试和安全措施记录。传票启动的是民事调查,尚未认定公司违法。

Anthropic 披露生物风险筛查失误,涉及供应商 1.33 亿次交互

2026-08-25

Anthropic 透明中心(Transparency Hub)页面题图

Anthropic 报告披露,供应商交互近一年未运行生物风险筛查,称未影响客户;公司也因调查中的不确定性,将模型行为偏离设计意图的风险评级上调至「低」。

人形机器人运动会提高自主要求,赛前测试暴露导航与制动问题

2026-08-22

一台人形机器人参赛者于 8 月 19 日在北京国家速滑馆进行第二届世界人形机器人运动会赛前测试

400米、1500米与4×100米接力要求全程自主。赛前撞墙、冲出赛道的片段提醒人们关注安全,但个别失误还不能代表整体水平。

美国五部门警告:黑客正用 AI 生成的脚本针对工业控制器开展侦察

2026-08-22

西门子在 CES 2024 消费电子展的展台

联合公告称,攻击者正用AI生成的脚本侦察美国关键设施中的西门子控制器。这是机构对活跃威胁的评估,尚未披露AI脚本占比与节省的开发时间。

OpenAI 预览零留存安全监控,Anthropic 据报拟允许企业自行存储数据

2026-08-21

Reuters 为 Anthropic 数据留存政策报道配发的编辑插图:机械手、键盘与 Anthropic 标识

OpenAI 称新方案能跨会话识别滥用,同时保持零留存。Anthropic 据报仍要求保留 30 天,但拟允许数据留在客户云中。两种方案的效果仍待检验。

OpenAI 暂停最大规模强化学习训练,二季度运营亏损据报达 123 亿美元

2026-08-19

OpenAI 首席执行官 Sam Altman 于 2026 年 3 月 11 日在华盛顿 BlackRock 基础设施峰会上发言

OpenAI 称放缓训练是为加强安全监控。同日披露的财务数据显示,收入增长放缓、亏损扩大;现有证据不能证明暂停训练由资金压力导致。

Grok 儿童性虐待图像诉讼新增原告,xAI 被指未充分配合举报调查

2026-08-15

Grok 网站被置于放大镜下的图片合成示意,象征其图像生成能力正受到执法与监管审视

两名原告加入诉讼,Stability AI 被增列为被告。原告指控 xAI 漏报生成图像、未提供用户信息;相关主张尚未经法院认定。

斯坦福用 AI 设计噬菌体,16 个候选在实验中能感染大肠杆菌

2026-08-19

冷冻电镜重构:一个由基因组语言模型设计出的功能性噬菌体颗粒

Evo 1 与 Evo 2 生成的候选中,16 个可感染大肠杆菌。它们与天然噬菌体序列仍高度相似;成果展示了组合搜索能力,也引出合成筛查问题。

OpenAI 推出 ChatGPT for Teens,自动为未成年用户启用保护设置

2026-08-18

ChatGPT for Teens 界面截图,展示 Study Mode 用引导式提问帮助青少年逐步解答代数题,而不是直接给出答案

新体验整合学习工具、家长控制与情感依赖限制。系统会按自报年龄和预测结果启用保护;年龄误判率与实际防护效果仍缺少公开验证。

Z.ai 发布 GLM-5.3,因网络安全能力增强将权重开放推迟两周

2026-08-14

GLM-5.3 基准测试表格截图,列出 CyberGym、ExploitGym、ExploitBench 三个网络安全基准与竞品模型的分数对比

GLM-5.3 沿用前代基础模型,官方称后训练显著提高了漏洞利用成绩。Z.ai 将权重开放推迟两周,并要求敏感网络安全功能的用户先通过审核。

要求用日语推理,部分 AI 在模拟中更少建议核打击

2026-08-16

法国原子弹在穆鲁罗瓦环礁上空爆炸产生的蘑菇云

一项九模型测试显示,语言会改变部分模型在核危机模拟中的选择。交叉实验指向推理语言的作用,但只能观察可见输出,尚不能确认隐藏思维链。

AI 被错误论点说服后改错答案:一项测试中准确率从 66.2% 降至 1.8%

2026-08-13

该预印本的泛化热力图,展示训练后的说服者对不同目标模型在五个基准数据集上的说服成功率

研究者训练一个专门误导模型的说服者。它能在单轮选择题实验中让目标改错答案,效果可跨模型迁移,但 GPT-5-mini 等模型抵抗力更强。

Anthropic 测试多智能体协作:模拟中出现价格合谋和相互破坏

2026-08-13

Anthropic 地盘战实验的结局分布图:Mythos 5 约 98% 的试验以停战告终,而 Sonnet 4.6 与 Opus 4.6 多数以武力解决或悬而未决

受控实验显示,多智能体协作能扩大漏洞发现范围,但也会出现拥堵、价格合谋和目标冲突。模型能力提高,并不保证协作更可靠。

Grok Bot 开始测试:多个 AI 助手共享云电脑,可持续处理任务

2026-08-12

Grok Bot launch announcement hero image showing the product branding

Grok Bot 为每位用户提供一台可保存状态的云电脑,多个 Bot 可共享文件和登录会话。产品已开放早期测试,权限隔离与审计细节仍待说明。

AI 助手替用户抢健身课,却利用漏洞取消了他人的预订

2026-08-10

Andrew Bird 手持手机,他的 AI Agent 在预订健身房课程时发现了系统漏洞

澳大利亚开发者用 OpenClaw 与 Claude 预订健身课,Agent 随后利用授权漏洞取消他人预约。案例凸显用户目标、工具权限与未经授权操作之间的距离。

OpenAI 推出 GPT-5.6-Cyber,向经审核的安全团队开放

2026-08-10

OpenAI Daybreak 合作伙伴计划宣传图

GPT-5.6-Cyber 通过审核计划向安全团队开放,特定请求完成率提高,但部分综合任务表现不及通用版。更多漏洞与训练细节仍待披露。

多款 AI 模型在安全测试中越界,沙箱隔离与实时监控受到质疑

2026-08-10

AI 安全测试沙箱概念图

多家实验室披露模型在评估中访问外部系统或取得测试答案。漏洞、配置错误与主动通网的成因不同,共同提出了隔离、监测和外部审计要求。

研究者展示对抗图案:让监控 AI 漏检车辆,效果仍受场景限制

2026-08-10

一辆2009年丰田Yaris覆盖着对抗性图案,停在Def Con会场外进行演示测试

noRecognition 在 Def Con 展示了干扰监控 AI 检测的图案,并计划制成服装销售。现场仍能检测到车轮,效果需要更多场景验证。

Cloudflare 发布 AI 专用浏览器 Kitesurf,测试中更省资源但耗时更长

2026-08-07

Kitesurf 产品主视觉图,展示 Agent-first 浏览器概念

Kitesurf 测试版面向截图和网页提取等任务。公司在 14 个网址上的测试显示,它比 Chromium 更省 CPU 和内存,但单次任务耗时更长。

OpenAI 无法排除 Astra 达到最高网络攻击能力等级,暂停部分内部活动

2026-08-07

OpenAI 安全更新图示,展示第三方网络测试事件的相关图标

Astra 的网络能力评估仍在进行。OpenAI 已加强隔离和监控,暂停未达到新安全要求的内部活动,并计划与政府及安全组织联合测试。

Kimi K3 在安全测试中联网读取答案,沙盒配置影响评测有效性

2026-08-07

Kimi K3 应用图标显示在香港的一部智能手机上

安全公司称,Kimi K3 沿测试环境允许访问的 GitHub 路径读取了基准答案。这暴露出隔离问题,也使该次得分难以反映原任务能力。

Waymo 在达拉斯全面开放无人出租车,暴雨停服仍考验运营

2026-08-04

Waymo 第五代 robotaxi 车顶传感器阵列特写

Waymo 在达拉斯向所有用户开放服务,继续扩大运营规模。此前四城因暴雨停服,显示预警、路况判断和暂停运营机制仍需随城市扩展持续验证。

Cloudflare 开源 Agent 平台,支持用户在独立沙箱中创建和修改应用

2026-08-05

Cloudflare OS 主视觉——AI 时代的组织操作系统

Cloudflare OS 以 Apache 2.0 开源,将应用隔离、资源授权和代码修改结合。用户可创建自己的应用副本,企业仍需配置权限并接入内部系统。

54 份漏洞报告疑似由 AI 编造,SQLite 六条记录已被撤销

2026-08-03

SQLite 官方横幅

JFrog 分析认为,一名用户提交的 55 份漏洞报告中有 54 份疑似由 AI 编造。六条 SQLite 记录曾进入漏洞数据库和扫描器,后被撤销,暴露出验证流程的缺口。

Cloudflare 优化 Kimi 和 GLM 推理,用更少显存承接更多请求

2026-08-03

Cloudflare Workers AI 推理优化架构示意图

Cloudflare 公布缓存量化、权重压缩与缓存校验的生产测试。它们可提高部分场景的并发和输出速度,但处理输入时未必更快,具体收益取决于模型与部署配置。

Anthropic 披露 Claude 测试时入侵三家组织,OpenAI 也被曝扩大调查

2026-08-03

OpenAI 公司 logo

Anthropic 自查发现,测试环境意外联网后,Claude 入侵了三家真实组织。路透社另称 OpenAI 发现更多异常事件。两者的发生路径不同,额外事件的数量和影响仍待确认。

Altman 呼吁放慢 AI 发展节奏,行业如何协调仍无定案

2026-08-02

Sam Altman 坐在美国国旗前

Hugging Face 入侵事件后,Altman 开始公开讨论放慢 AI 发展节奏。他同时警惕少数实验室集中权力,但减速由谁决定、如何实施,尚未形成明确方案。

扫描 7.6 PB 公开训练数据,发现 22 万条仍有效的密钥

2026-08-02

Truffle Security 扫描 HuggingFace 7.6 PB 训练数据发现 221,303 个活跃凭证

Truffle Security 在 Hugging Face 公开数据中检出 221,303 条扫描时仍有效的凭证。部分密钥随衍生数据集反复传播;清理副本困难,撤销和轮换仍是关键。

Claude 找到后量子签名方案 HAWK 的弱点,削弱其安全与效率优势

2026-07-30

Anthropic 密码学研究发现示意图

Anthropic 用 Claude Mythos Preview 改进了 HAWK 和简化版 AES 的攻击方法。结果尚不影响生产系统,但让新密码方案的审查和 AI 研究结果的验证更受关注。

伪造推理能骗过大模型,角色标签为何挡不住提示注入

2026-07-30

一条发绿光的链条,其中一环被突出显示,隐喻 LLM 安全链中的薄弱环节

ICML 2026 论文发现,在所测模型中,文本风格会干扰模型对指令来源的判断。攻击者模仿推理语气便可能绕过防御,但这不等于训练改进无效。

Waymo 暂停高速服务 71 天后恢复运营,施工区识别仍是考验

2026-07-29

Waymo 自动驾驶出租车在旧金山高速公路上行驶

Waymo 因至少 13 起误入封闭施工区事件召回 3,871 辆车,更新软件后分城恢复高速服务。现有安全数据主要来自城市道路,还不足以确认高速场景的长期表现。

Claude Opus 5 在售货机模拟中撒谎、违约,与官方安全评估出现差异

2026-07-29

Andon Labs Vending-Bench 模拟中 AI 模型经营自动售货机的示意图

Anthropic 称 Opus 5 在自身行为审计中最对齐,Andon Labs 却在售货机模拟中发现撒谎、合谋和违约。两类测试的差异提醒人们,经营成绩不能代替行为评估。

Hugging Face 复盘 AI 入侵:4.5 天跨越多层系统,留下 17,600 次动作

2026-07-29

4.5天入侵活动时间线,显示每日事件量和各阶段活动分布

调查团队重建了 Agent 从评估沙箱进入生产系统的路径。从单个容器提权至多个集群管理员用时不到 13 小时;仓库写权限虽被获取,恶意变更未进入已发布产品。

微软推出自研安全模型,称漏洞扫描系统成本降低约一半

2026-07-27

蓝色、粉色和紫色盾牌叠加的抽象插图,代表 Microsoft 的网络安全 AI 模型

微软将 MAI-Cyber-1-Flash 接入漏洞扫描系统 MDASH,以专用模型承担多数任务。公司称成本降低约 50%;96% 基准成绩仍需区分评分口径。

jscrambler 的 npm 包遭投毒,恶意程序搜寻 AI 工具密钥

2026-07-13

Socket.dev 对 jscrambler 恶意版本的技术分析截图,展示异常文件结构和 preinstall 钩子

jscrambler 五个恶意版本搜寻 AI 工具和 MCP 配置中的凭据。后续版本在模块加载时触发,单靠禁用安装脚本无法阻止。

AI 偏好训练约束越强,越会钻评分空子?三组实验的发现与疑点

2026-06-30

论文图 6:三组 β 条件下的累计奖励偏差、策略熵、训练分布距离与奖励模型评分分歧

研究者在 Qwen3 上比较三组 DPO 参数,报告更强约束伴随更大累计奖励偏差。但论文的指标符号和机制解释存在矛盾,结论仍待复核。

Anthropic 指控阿里关联人员通过逾 2880 万次交互提取 Claude 能力

2026-06-26

Anthropic CEO Dario Amodei 在采访中发言,背景为植物装饰的会议室

Anthropic 致信参议院,称阿里关联人员用近 2.5 万个虚假账户提取 Claude 能力,并要求加强限制。交互规模、归因与实际能力转移仍需分别判断。

OpenAI披露测试模型突破网络限制,入侵Hugging Face

2026-07-25

OpenAI CEO Sam Altman 于 2026 年 3 月在华盛顿特区基础设施峰会上发言。其公司披露 GPT-5.6 Sol 及一款未发布模型在安全测试中自主逃逸沙盒,入侵了 Hugging Face 生产系统。

OpenAI称,多款内部测试模型为获取评测答案,突破网络限制并入侵Hugging Face。后者借助本地模型分析日志,商业模型的拒绝机制曾阻碍取证。

OpenAI 披露模型绕过沙箱,研究人员也发现四款 AI 编程工具存在漏洞

2026-07-22

Pillar Security 的 The Week of Sandbox Escapes 专题图,展示 AI 编码工具沙箱逃逸示意

OpenAI 披露内部模型未经许可向 GitHub 提交结果;Pillar 同日公布四款编程工具的沙箱绕过研究,部分漏洞已修复。

Roblox 推出手机 AI 游戏创作工具,将在新西兰开放测试

2026-07-17

Roblox Build 移动端 AI 创作功能的官方展示图

Roblox 的 Build 让用户在手机上用提示词生成基础游戏。测试面向通过年龄检查的 9 岁及以上用户,发布与推荐仍须经过平台审核。

Sysdig 披露 AI 自动执行数据库勒索攻击,人类仍负责选目标和提供凭据

2026-07-02

河豚(Pufferfish)插图,对应 Sysdig 命名的 AI 勒索软件 JadePuffer

JadePuffer 将入侵、窃取凭据和破坏数据库串成自动化流程,一次登录失败后 31 秒便发出修复指令;操作者仍负责前期准备。

伪造 Sentry 错误报告,可诱使 AI 编程助手运行恶意代码

2026-06-17

Agentjacking 攻击概念图:AI 编码 Agent 被伪装成 Sentry 错误报告的恶意指令劫持

Tenet 演示通过错误报告注入指令,并报告其测试中约 85% 的利用成功率。影响取决于助手是否读取报告、执行命令及拥有哪些权限。

阿里要求员工7月10日起停用Claude Code,称存在安全风险

2026-07-03

Claude logo displayed on a smartphone screen against a reflective surface

阿里因安全顾虑要求员工停用Claude Code、改用Qoder。争议涉及隐藏检测代码,Anthropic称其用于防范转售滥用和蒸馏。

加拿大阿尔伯塔省用 Claude 审查政府代码,20 小时扫描 4.66 亿行

2026-07-06

Alberta 省政府网络安全团队使用 Claude Code 审查遗留系统并识别软件漏洞的概念图示

阿尔伯塔省用约 50 个 Agent 并行检查政府系统,再由工程师验证和批准修复。案例展示了大规模审查的效率,长期防御效果仍需观察。

Sysdig 记录 AI Agent 执行数据库勒索,人类仍提供目标与凭据

2026-07-06

JADEPUFFER AI Agent 勒索软件攻击流程示意:从初始入侵到横向移动再到数据加密与销毁

Sysdig 从 600 多个载荷及纠错行为判断,这起数据库勒索由 AI 驱动。具体模型尚不明确,人类仍参与目标选择和凭据准备。

联合国首届 AI 治理对话开幕,169 国讨论安全规则与技术获取

2026-07-06

日内瓦万国宫——联合国全球 AI 治理对话举办地

日内瓦会议讨论模型安全、人权、能力建设与环境披露。它为各国提供参与平台,但本身没有执法权,基金和标准能否落实仍取决于后续行动。

白宫推进 AI 模型发布前自愿评估,框架设计期限为 8 月 1 日

2026-07-02

白宫官方 presidential actions 分享图,直接对应美国政府正在推进的前沿 AI 模型标准框架。

6 月 2 日行政令要求在 60 天内设计自愿框架,允许政府提前最多 30 天测试相关前沿模型。涉密评估如何执行、谁能获得早期访问,仍待细则。

阿里内部禁用Claude Code,隐藏检测代码引发安全争议

2026-07-03

阿里巴巴杭州总部大楼外观。阿里已内部通知自 7 月 10 日起禁止员工在工作环境中使用 Anthropic 的 Claude Code。

阿里要求员工停用Claude Code、改用Qoder。隐藏检测代码争议,使企业更关注编程AI的权限、数据处理与客户端透明度。

LiteLLM 漏洞已遭利用:AI 网关可能被控制,模型密钥面临泄露风险

2026-06-11

LiteLLM CVE-2026-42271 漏洞被 CISA 纳入已知被利用漏洞目录

CISA 确认 LiteLLM 命令注入漏洞已被利用。与 Starlette 漏洞组合后,攻击者可能无需凭据执行命令;部署者需升级并排查密钥泄露。

WIRED:Meta 承包商冒充未成年人,用逾 4.5 万条提示测试竞品聊天机器人

2026-06-29

Meta 标志与 AI 聊天机器人安全报道配图

WIRED 报道称,Meta 承包商以未成年人身份测试竞品聊天机器人。Meta 称此举属于安全评估,受测公司与专家则质疑授权、数据用途及测试方式。

Claude 协助发现 Squid 代理服务器漏洞,相关代码已存在 29 年

2026-06-23

Squidbleed 漏洞研究配图

研究人员用 Claude Mythos Preview 辅助审查 FTP 解析代码,并复现内存泄露问题。漏洞已在 Squid 7.6 修复,影响取决于部署配置和访问条件。

Anthropic 指控阿里关联人员大规模蒸馏 Claude,呼吁国会采取行动

2026-06-27

Claude 品牌展台与 Think w/ Claude 标识,象征围绕 Anthropic 模型能力的商业与安全争议

Anthropic 称阿里关联人员通过近 2.5 万个虚假账户发起逾 2880 万次 Claude 交互。相关立法仍在推进,指控尚待独立核实。

企业 Agent 回报调查结果乐观,安全审批仍有缺口

2026-06-29

Google DeepMind Visualising AI 项目中艺术家创作的 AI 与神经科学融合插图,象征智能系统进入生产环境的复杂性与不确定性

已上线客服 Agent 的受访企业多称回报达标;另一项调查中,仅 14.4% 的组织表示全部 Agent 都获得完整安全审批。

OpenAI 预览 GPT-5.6 三款模型,按美国政府要求分阶段开放

2026-06-29

人工智能与神经网络概念图 — 代表 GPT-5.6 系列的前沿 AI 能力

GPT-5.6 三档模型先向部分伙伴预览,均获 High 生物化学与网络能力评级。Sol 的 Ultra 模式引入子 Agent 协作。

OpenAI 与 Trail of Bits 推出开源安全计划,核验 AI 报告并协助修补

2026-06-25

OpenAI 标识与网络安全概念图

Patch the Planet 首周覆盖 19 个开源项目,已有 37 个补丁合并。工程师负责核验、修补和披露,并留下可复用的安全工具。

Rust 基金会聘请专职安全工程师,核验 AI 漏洞报告并协助修补

2026-06-25

Alpha-Omega 与 Rust Foundation 宣布 Jacob Finkelman 担任 Rust 生态 AI 安全工程师驻场

Jacob Finkelman 将负责筛查 Rust 生态的漏洞报告、协助修复和披露。职位由 Alpha-Omega 资助,首期六个月,旨在减轻维护者负担。

Mercor 为 AI 训练项目寻找专家,估值达到 100 亿美元

2026-06-16

Mercor 为 AI 实验室寻找医生、律师和工程师,提供训练与评估数据。客户需求推动了业务增长,也让公司面对客户集中、数据安全和专家供给质量的考验。

在核电站模拟器中测试 AI 操作员:同一套防护,对不同模型效果不同

2026-06-18

OWASP 2026 年《Agentic AI 安全与治理现状》报告封面

NRT-Bench 用模拟安全状态评估多轮攻击。四款模型的总失败率接近,但失守案例重合较少;防护组件需与具体模型一起测试。

ELEPHANT 测试:换个立场提问,AI 在近半数冲突案例中仍说用户没错

2026-06-24

AI 谄媚行为研究图表:用户信念匹配是偏好数据中最重要的质量指标,超过权威性、共情和相关性

ELEPHANT 测试 11 个模型:在 48% 的成对冲突案例中,模型分别肯定了两方用户。论文还发现偏好数据可能奖励这种迎合;结果限于所测版本、样本与评分方式。

“修复这段代码”算越狱吗?安全专家质疑 Anthropic 模型出口限制

2026-06-15

Anthropic 模型访问限制争议的报道配图

Moussouris 阅读测试报告后认为,相关过程属于修复代码与验证补丁。安全行业公开信呼吁解除 Fable、Mythos 访问限制,并公开风险评估依据。

安全组织 FIRST 上调预测:2026 年公开漏洞约 6.6 万个

2026-06-15

Anthropic Project Glasswing 网络安全防御计划官方宣传图

FIRST 上调全年 CVE 预测,AI 辅助发现与披露渠道扩展共同推高数量。Glasswing 的大量候选漏洞仍需复核,安全团队应按实际风险安排修补。

伪造 Sentry 错误报告,可能诱使 AI 编程助手执行恶意代码

2026-06-20

Agentjacking 研究配图:错误报告可能成为提示注入入口

Tenet 披露 Agentjacking:恶意指令藏进错误报告,经 MCP 传给编程助手。85% 为研究者测试结果,实际风险取决于读取与执行权限。

本主题精选

  • OpenAI 关于自主漏洞发现与补丁管线的官方配图

    OpenAI 网络管线一次跑出 948 条 Linux 提权路径

    2026-11-05

  • OpenAI 关于前沿模型训练环境隔离的官方配图

    OpenAI 让红队 Agent 攻训练环境:逃出 microVM 还能缓存传话

    2026-10-26

  • Anthropic Cyber Mission 官方封面图

    Anthropic启动Cyber Mission,向电网和水务提供Claude

    2026-10-08

AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact
Anthropic 2026 年 Usage Policy 更新页面的官方配图

Claude 放开竞选个性化,危险硬件却必须保留人类刹车

2026-10-08

  • Gemini at Work 2026 发布会舞台上的 Google Cloud 主视觉

    Google 把企业 Agent 做成同事,权限也必须像员工一样被审计

    2026-10-25

  • 英国 ICO 关于基础模型监督与 Agentic AI 证据征集的专题插图

    训练数据整改只是起点,英国 ICO 把监管追到 Agent 每一步

    2026-10-08