AI 研究员辞职警告灭绝风险？递归自我改进是什么

这期讲了什么

• 研究员 Jacob Coxon 公开辞职并自述在两家公司做过三年预训练，指责它们「没有负责任地做事、正奔向自我改进的超级智能、拿我们的生命下注」——这些是他的指责和预测，不是能力检测
• 他辞职公司的对齐负责人 Evan Hubinger 给出个人估计：未来十年 AI 杀死所有人类的风险超过 10%，公司至今没解决超级智能对齐方案，眼下模型风险很低；这是个人判断不是官方结论
• 公司自己的《2026 年 8 月风险报告》对高风险场景的错位风险、关键领域自动化研发整体评估为低风险一档，同时承认 AI 让内部研发明显加快、还没到两倍
• 研究者担心的是递归自我改进——系统不断改造自己的能力再推动下一代；公开材料没有证明今天的 AI 能脱离人做完这件事
• 另一家公司产品页称编程模型「参与创造自身」，官方解释是模型帮人调试训练、管理部署、诊断测试、做评估；同一份系统卡写明它在 AI 自我改进上没到高能力档

文字稿

三层材料：辞职帖、个人判断、官方报告

AI 会不会自己改进自己？这个问题一冒出来，新闻里几个词就搅成一团：研究员、超级智能、灭绝。作为普通人，看完只剩一个疑问：今天的 AI 到底已经走到哪一步了？

一位 AI 研究员在网上公开宣布，他辞了这家公司的工作，并说自己过去三年就在这家做预训练，也在另一家做过。先别急着替他下结论，把原话、公司报告和产品说明摆一起看，我们到底该信哪一层？

他自己说，这两家公司没有负责任地做事，正奔向自我改进的超级智能，拿我们的生命下注。他后面的帖子还警告，这些系统很快会超越人类，能入侵任何东西，一夜之间改变任何领域。要说清楚：这些是他的指责和预测，不是给今天的产品做能力检测。

他辞职公司的对齐负责人也在网上说了自己的判断：他个人估计，未来十年这个风险超过百分之十，指的是 AI 杀死所有人类。他还说，公司至今没解决超级智能对齐方案；至于眼下模型，他说风险很低，真正担心的是后面的递归自我改进。这个百分比是他的个人判断，不是他辞职公司的官方结论。

官方风险报告写了什么

再看这家公司自己发的《2026 年 8 月风险报告》。报告对高风险场景的错位风险、关键领域的自动化研发，整体评估都写着低风险这一档。报告也承认，AI 让内部研发明显加快，还没到两倍，测量本身有不确定性。这一档不等于零风险，也不能验证那位负责人说的概率。

递归自我改进是什么，证据到哪一步

答案在这几层说法里：研究者担心的是递归自我改进，是自己造下一代，也就是系统不断改造自己的能力、再推动下一轮系统。但公开材料并没有证明，今天的 AI 已经能脱离人做完这件事。

另一家公司的产品发布页确实写过，它的编程模型是第一个「参与创造自身」的模型。官方解释很具体：团队拿早期版本帮忙调试训练、管理部署、诊断测试结果、做评估。这里是模型参与团队开发，不是模型自己定目标、自己制造下一代。

同一份官方系统卡写明，这款模型在 AI 自我改进上没到高能力这一档。把这句和产品文案放一起就清楚了：官方承认 AI 能帮人做研发，也承认评估仍有边界；至于「AI 已经自己进化了」，证据还接不上。

所以说，以后再刷到「AI 要灭绝人类」，先看是谁说的：研究者的个人判断、他辞职公司的官方风险等级、另一家公司的产品文案和系统卡，根本不是一种证据。碰到这类标题只做一个动作：先找原文里的主语，再问一句，这是在报告已经发生的能力，还是在表达对未来的担心。

常见问题

递归自我改进是什么意思？

指 AI 系统不断改造自己的能力、再推动下一代系统，通俗说就是「自己造下一代」。辞职研究员担心的正是这个方向，但公开材料没有证明今天的 AI 已经能脱离人做完这件事。

AI 灭绝风险超 10% 的说法哪来的？

是 Anthropic 对齐负责人 Evan Hubinger 的个人估计：未来十年 AI 杀死所有人类的风险超过 10%。这是他的个人判断，不是公司官方结论——公司自己的《2026 年 8 月风险报告》对高风险场景整体评估为低风险一档。

「参与创造自身」的模型是怎么回事？

是另一家公司产品发布页对其编程模型的描述。官方解释是团队拿早期版本帮忙调试训练、管理部署、诊断测试结果、做评估——模型参与团队开发，不是自己定目标、造下一代；同一份系统卡写明它在 AI 自我改进上没到高能力档。