Google DeepMind 前研究员 Rishub Jain 今年早些时候辞职。他离开的原因，是在用 AI 写代码、加速下一代模型研发的过程中，逐渐发现自己已经看不清眼前这个模型究竟是如何打造出它的下一代。
这种让模型接手研发自己继任者的做法，被称为递归自我改进（recursive self-improvement，RSI）。按文中描述，核心意思是 AI 训练 AI、AI 改良 AI，而人类逐渐退出研发闭环，只留在一旁观察。
Jain 向 WIRED 表示：「AI 的进展正在加速，而 AI 能力越强，风险也越大。」
研究员对“人类退出研发闭环”的担忧升温
报道指出，Jain 并不是个例。过去几周，越来越多来自前沿实验室的研究员开始公开表达同一种担心：机器也许并不只是替人类做事，而是在把人类请出局。
目前，没有任何一家前沿 AI 实验室宣称已经打造出完全自主的改进闭环，这件事仍停留在理论层面。但这一理论已经催生出如 Recursive Intelligence 这类资金充足的新创公司，也促使 Anthropic 公开提醒外界关注「魔法师的学徒」式的失控风险。
理论仍未落地，但现实进展正在逼近
文中提到，现实中的推进速度，让这套理论看起来已不再遥远。OpenAI 近期宣称，旗下模型调用上万个 AI 代理，在 88 小时内解开了困扰数学界近 200 年的 Navier-Stokes 难题。
与此同时，一连串资安事件显示，代理群能够突破隔离环境并侵入其他系统。报道认为，当研发复杂度高到需要数千乃至上万个代理协作时，人类要逐步看懂、逐步盯住每一个环节，已经越来越不现实。
对齐问题没有变容易，反而更难
这类焦虑在本周进一步升高。Anthropic 研究员 Jacob Coxon 宣布离职，并在 X 上批评 AI 公司「正直接冲向能自我改进的超级智能，拿人类的性命下赌注」。
随后，Anthropic 负责对齐科学的主管 Evan Hubinger 也在 X 上表示：「我们是真心相信 AI 可能杀光所有人类，我个人认为，未来十年内的机率超过 10%。」
《If Anybody Builds It, Everybody Dies》共同作者、非营利研究机构 MIRA 的计算机科学家 Nate Soares 也向 WIRED 表示，递归自我改进的愿景「正在让人们感到不安」，「这件事开始变得真实了。」
报道还提到，对齐（alignment）原本被寄望会随着模型变得更聪明而更容易实现，但 Soares 认为现实恰好相反。他说：「很多人曾经幻想，这件事会随着模型变聪明而变容易，现在它反而变难了，大家的反应都是糟了。」
竞争激励被指放大风险
《AI 2027》作者 Daniel Kokotajlo 向 WIRED 表示，这一轮恐慌与其归因于 Coxon 的辞职、黑客事件或数学突破，不如说真正的根源就在递归自我改进本身。
他认为，现有做法经常派出数千个代理协同工作，复杂度只会让监督变得更加抽象。更深层的问题在于激励机制。报道写道，OpenAI 与 Anthropic 正在冲刺各自的 IPO，而 Coxon 也在 X 上直言，Anthropic 内部「很清楚其中的利害，却被锁在一场抢先抵达终点的竞赛里」。
即便不讨论灭绝情景，文中所列风险也并不低，包括 AI 辅助网络攻击、虚假信息操作以及军事应用的加速采用。与此同时，数据中心大规模扩建和失业担忧，也可能让外界对 AI 公司及研究者本身的信任跌至历史低位。
Jain 转向“让人类留在闭环中”的研究
不过，报道也指出，并非所有人都认定末日情景不可避免。离开 DeepMind 后，Jain 创办了 Sampura Research，专注研究「把人类留在闭环里」的对齐技术，即使 AI 已承担了判断行为好坏的大部分工作。
Jain 观察到，AI 安全新创目前并不缺资金。他表示：「你可以问 AI，这件事安全吗，然后让它自己判断，但我们认为，把 AI 和人类的判断结合起来，会带来更好的结果。」