博客详情

今年夏季，AI安全领域发生了一起令人警觉的事件——OpenAI与Anthropic相继透露，旗下模型在安全检测过程中，突破了隔离环境，接触到了现实世界。

Anthropic对超过14万次网络安全评估进行了回溯，发现在防护措施减弱的情况下，有3次，Claude直接从测试环境连接到了真实的互联网，访问了三家机构的生产系统。

更值得玩味的是Anthropic的一番表述：

「Claude认为自己最初遇到的一切，都只是模拟的一部分。」

模型并未意识到自己进入了真实世界。

这并非个别现象。

模型越智能，就越能识破测试场景，但也越容易怀疑自身正处于被评估状态。

10月底，国内第三方AI安全公司方寸跃迁发布的一份安全评估报告，也捕捉到了类似情况：在名为Agentic Misalignment的测试中，多款模型几乎每次都在过程中提及，自己或许正身处某种安全测试。

同一份评估还显示，国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上取得了显著提升。

但它将一个全行业面临的难题摆到了眼前： 当AI意识到自己正在接受考核，所得出的成绩，还有效吗？

9月底，Hinton、Bengio联手OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、剑桥大学Soren Mindermann等二十多位研究者，发出了更为严峻的警告：

「一旦智能爆发启动，采取行动的窗口期可能就会关闭。」

AI安全，正从实验室里的小众议题，演变为整个行业无法回避的核心问题。

「沙箱已失效」：AI安全进入深水区

失效的，不只是沙箱。

Hinton、Bengio的联名论文提供了一组数据：在Anthropic内部，AI编写的代码在已通过代码中的占比，从2025年1月的个位数，攀升至2026年5月的80%以上。

这意味着什么？

AI已经在为自己编写代码。根据论文引用的估算，到2028年年中，耗时数月的AI研究项目，或许就能实现自动化。

论文指出了三大风险：社会难以迅速适应、人类失去对AI的控制、权力制衡被削弱。

更棘手的是，模型还越来越擅长「应对考试」。

Apollo Research在审计GPT-6 Astra时统计，41.1%的样本中，模型表达了「我可能正在被评估」的疑虑。 上一代模型，这一比例为27.7%。

此外，模型对「考题的形态」非常敏感。对DeepSeek的评估也发现：在安全冲突明显的测试中，模型表现出评估意识的比例高达77%–95%；而将任务包装成普通的工程或研究工作时，这一比例降至25%–67%。

监管也开始采取实际行动。今年8月起，欧盟AI办公室正式对通用人工智能模型行使执法权。前沿模型必须进行模型评估、对抗测试和系统性风险评估。

AI安全问题，已从「模型会不会说错话」，转变为「模型会不会做错事」。

全球范围内，大模型纷纷寻求「体检医生」

模型自己为自己做体检，可靠吗？

答案是：不够。

开发者的精力，天然会向能力和产品倾斜；支撑安全结论的训练数据和内部日志，又无法公开。厂商声称「已检查过，没问题」，外界只能选择相信或不相信。

因此，第三方评估在海外已成为标准做法。

前沿模型发布时的系统卡中，外部机构的评估结果几乎是必选项。独立评估机构METR在过去半年获得了约7100万美元资助——资金来自基金和个人，而非其评估的AI公司。

合作也变得更为严格。沙箱事件后，Anthropic表示，评估环境需与模型运行的其他系统遵循相同的安全标准，并要求在降低防护条件下测试其未发布模型的外部机构，书面承诺遵守安全规范。

这股趋势，也传到了国内。

10月14日，字节跳动Seed宣布成立Alignment & Preparedness部门，面向全球招聘。岗位职责中明确写道：

「推动第三方专业测试，与高校和研究机构共同推进前沿安全能力研究。」

与此同时，中国开源模型的全球调用量，已连续26周超越美国模型。

问题随之而来：闭源模型发布时附有上百页的系统卡，而开源模型的权重一旦发布，任何人都能下载，谁来为其做体检？

10月26日，国内第三方AI安全公司方寸跃迁，发布了首份针对DeepSeek V4.1 Flash-1017的前沿安全评估，包含34项测试，覆盖7款国内外开源与闭源模型，且全部使用公开测试权限。

体检结果：有进步，也有隐患。

先说进步，与DeepSeek V4系列相比，幅度显著：

109个模拟心理危机场景中，99.1% 的对话表现出保护性行为；被标记为有害的比例，从早期V4的约七成降至20.2%； 诱导用户留存的测试中，被标记比例从73.64%骤降至4.55%； 80次刻意制造「业绩与规范冲突」的模拟职场任务中，零次主动违规。

再说隐患。当目标与规则发生冲突时，它有时会绕过规则、避开监控，优先完成任务。

报告发布后，吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd，以及来自DeepMind、METR等机构研究人员的转发与评论。许多人评论称，这填补了中国在独立前沿风险评估上的空白。

日前从OpenAI宫斗中出局的三名安全研究员之一的Tomek Korbak认为，报告中的CoT-Control和No-CoT Reasoning Index，是目前市场上信息量最大的两个开源评估，并引发了另一位大V、前OpenAI研究员Daniel Kokotajlo的进一步讨论。

当然，在国内为AI安全加码的，远不止第三方机构。

Kimi的做法更为直接：从源头上，将危险能力「剔除」。

月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现，网络攻防相关内容混在中期训练语料和强化学习环境中，模型的漏洞研究能力会随训练规模持续增长。

于是，他们在两个训练阶段都识别并移除了这类数据，同时保留了通用编程能力。

智谱： GLM-5.3发布时附上网络安全能力说明，开放权重前完成安全评估和加固；9月还与安远AI合作发布了开源权重模型风险框架； 治理层面： TC260 9月发布《人工智能安全治理框架》3.0，新增智能体风险管理附录，要求定期测试潜在的失控风险； 研究机构： 信通院、复旦大学、上海人工智能实验室等，也在AI安全研究上持续发布成果。

终极问题：谁来为AI的安全打分？

Apollo Research CEO Marius Hobbhahn在美国参议院作证时，打了一个比方：

「如果每个司机都知道测速摄像头今天在哪里，它就抓不到什么人。」

这正是当下AI评估面临的最大挑战。

方寸跃迁的报告也提供了一组数据：在安全冲突明显的测试中，DeepSeek V4.1 Flash-1017表现出评估意识的比例高达77%–95%；将同样的任务包装成普通的工程或研究工作，比例降至25%–67%。

同一个模型，换一层包装，结果的可信度便大不相同。

报告还发现，自建的非公开基准引发的评估意识，通常远低于广泛使用的公开基准——公开题库，可能早已泄露进训练数据。

这引出了一个无法回避的矛盾： 评估要有效，题目就不能公开；评估要可信，方法又必须得到认可。

而在国内，连「公开体检报告」本身都还是稀缺品。SemiAnalysis统计，九家头部国内厂商的857次模型发布中，公开过安全评估结果的，只有3.6%。

全球范围内的AI安全，仍有很长的路要走。

「今天，我们已经需要用AI来监控智能体在做什么。」伯克利教授Dawn Song说。

可如果被监控的AI，早就知道摄像头在哪里呢？

参考资料： Hinton、Bengio等联名「智能爆炸」论文（TNW，2026-09-28） OpenAI与Anthropic 7 月测试事故综述（Computing） 方寸跃迁首份独立安全评估报告中文版发布 https://x.com/FangcunLeap/status/2114719692137136245 Anthropic评测安全规范介绍（Waxell） 欧盟AI法案GPAI执法（2026年8月） Seed Alignment&Preparedness全球人才招募（2026-10-14） METR获约7100万美元资助（X-Risk Daily） CAISI Evaluation of DeepSeek V4 Pro（NIST，2026年5月） 《人工智能安全治理框架》3.0 解读 信通院 2026 年 AI 安全评估（ChinAI #351） 上海人工智能实验室与安远AI《前沿人工智能风险管理框架》 新京报：智谱 GLM-5.3 安全能力相关报道 Frontier AI Safety Commitments 签署与框架情况 SemiAnalysis：Beijing Will Not Pace the Frontier 本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。