Anthropic前研究员辞职示警:担忧超级智能失控或危及人类

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类

N
News Editor
2026-09-10 05:45:00
27 岁的 AI 研究员 Jacob Coxon 在离开 Anthropic 后于 X 发文称,OpenAI 和 Anthropic 正朝可自我改进的超级智能加速推进,并把所有人的生命押在这场竞赛上。文中提到,他曾参与 OpenAI 的 GPT-4o 与 GPT-4.5 预训练工作,后来转至 Anthropic。Anthropic 多名研究人员随后公开表示支持,其中有人称未来 10 年内出现相关失控风险的概率高于 10%。

27 岁的 AI 研究员 Jacob Coxon 在离开 Anthropic 后,于 X 发布了一篇引发广泛传播的帖子,称自己辞职的原因,是担心 OpenAI 和 Anthropic 正朝着能够自我改进的超级智能一路加速推进,并把所有人的生命押在这场竞赛上。

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类 2

这篇帖子在 X 上获得了超过 1 亿流量。Jacob Coxon 在文中说,过去 3 年里,他先后在 OpenAI 和 Anthropic 从事大模型预训练工作,而在真正参与制造前沿 AI 的人当中,不少人私下确实相信,如果事情最终失控,人类可能会在这个十年结束前灭绝。

Jacob Coxon 的经历与公开表态

根据文中信息,Jacob Coxon 现年 27 岁,来自英国,数学出身。他在 2016 年和 2017 年连续进入英国国际数学奥林匹克竞赛队伍,之后进入剑桥大学 Trinity College 学习数学。

2021 年,他参与了一篇发表于 eLife 的医学统计论文,使用贝叶斯方法研究结核性脑膜炎患者的基因型与生存率之间的关系。

到 2023 年左右,他加入 OpenAI。GPT-4o 的官方贡献者名单中出现了 Jacob Coxon 的名字;在 GPT-4.5 中,OpenAI 更直接将他列为核心贡献者。随后,他在今年从 OpenAI 转至 Anthropic,继续从事最核心的预训练工作。

文中称,Jacob Coxon 在 Anthropic 工作时间不长,最终因无法违背自己的意志而辞职,并在 X 上发出警示。《华尔街日报》还报道称,他之后甚至考虑离开 AI 行业,不再从事相关工作。

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类 3

Anthropic 内部研究人员的回应

在 Jacob Coxon 发帖后,Anthropic 的对齐负责人公开表示支持。他称 Jacob 的判断是对的,并认为相关事件在 10 年内发生的概率高于 10%。

另有一名在 Anthropic 从事安全研究的人员,也以个人身份公开支持 Jacob。他给出的观察是,在 AI 公司内部,职位越高的人,往往反而越担心这个问题。

刚刚离开 Anthropic、此前负责可扩展监督的 Joe Benton 也表示,Jacob 对整个行业现状的描述,确实是准确的。

不过,文中也强调,这些仍然只是他们对于未来风险的判断,没有人知道 10% 这一数字是否准确。

从 2015 年文章到当下的延长线

文章把这场争论与 Tim Urban 在 2015 年 1 月发表的长文《The AI Revolution》联系起来。这篇文章分为上下两章,分别是《通往超级智能之路》和《我们的永生,或者灭绝》。

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类 4

文中提到,这篇文章提出了一个极其直接的判断:如果人类最终真的制造出远超自己的超级智能,那么它可能把人类文明推向两个方向,一边是灭绝,另一边是永生,没有其他解。

作者在 Jacob 发帖后再次翻出这篇文章阅读,感受到当下的发展轨迹像是站在那篇文章的时间延长线上。

Tim Urban 在文中讨论过一个经典问题:人类很难真正理解指数增长,因为人的大脑天然倾向于线性推演。但文明的发展往往并非线性,而是在某些节点上陡然加速。

为说明这种变化,他举过一个例子:如果把 1750 年的人带到 2015 年,对方可能会被飞机、高速公路、智能手机、互联网、卫星、核武器、空间站等技术彻底震撼;但若 1750 年的人再往前穿越 265 年,把 1485 年的人带回来,后者感受到的文明落差就会小得多。再往前,要获得同样的技术落差,可能需要跨越上万年。

Tim Urban 还把这种足以让古代人感到难以理解的技术进步命名为 DPU,即 Die Progress Unit,大意是一份足够把古代人“震撼死”的科技进步。过去积累一份 DPU 可能需要 1 万年,后来变成几百年、几十年,速度越来越快。

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类 5

AI 进展为何让这类担忧重新升温

文中回顾称,2022 年 ChatGPT 发布后,外界开始意识到 AI 已经能够像人一样对话;2023 年 GPT-4 面世,多模态大模型进入更多人的视野。之后,以 o1 为代表的推理模型、Claude Code、Codex、Agent 等产品持续出现。

文章还提到,上周 GPT-6 Astra 已经可以像人一样操作电脑,自己打开 Blender、Houdini、Unity、Excel,在陌生软件中寻找按钮、不断试错,并连续工作数小时。

在学术研究方面,文中列举了几项案例。5 月,一款 OpenAI 模型推翻了一个研究了 80 年的 Erdős 离散几何猜想;9 月 4 日,Anthropic 使用 Claude 花了 11 天,把费马大定理转换成一个 1300 万行、可由计算机逐行检查的形式化证明,而这项工作原本被估计需要人类花 10 年;此外,OpenAI 近期“极限 88 小时解决千禧年难题”一事也引发了争议。

这些进展并非 Jacob Coxon 唯一担心的内容。文中认为,更核心的问题仍然是“自我改进的超级智能”。

“自我改进”与“智能爆炸”的逻辑

Tim Urban 在 2015 年提出过一个问题:如果 AI 有一天开始帮助人类研究更强的 AI,会发生什么?文章称,到 2026 年 2 月,OpenAI 在 GPT-5.3 Codex 发布时表示,这是他们第一个在创造自身过程中发挥关键作用的模型。

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类 6

文中还称,现在几乎稍强一些的模型,在训练阶段都会有 AI 参与。作者据此认为,11 年前那条在迷雾中被勾勒出的虚线,如今看起来已经可以看到自己正走在上面。

Tim Urban 还曾提出“智能阶梯”的比喻。文章称,人类容易低估超级智能,因为人们习惯把“更聪明”理解为普通人、聪明人、天才、爱因斯坦、超级 AI 之间的差别,仿佛都处在狭窄区间内。但如果改用黑猩猩和人类作参照,差异就会显得完全不同:在整个生物智能尺度上,两者只隔了一点点,可这一点点差距,一边只能拿树枝捅白蚁窝,另一边却发明了微积分、量子力学、互联网,甚至飞出地球。

沿着这个逻辑,文章引向了 Intelligence Explosion,也就是“智能爆炸”。如果 AI 达到顶级 AI 研究员的水平,那么它最有价值的工作之一,很自然就是继续研究 AI,帮助人类把下一代模型做得更强。下一代更强以后,又更擅长研究下一代,于是智能增强与制造更强智能的能力同步增强,形成正反馈。

文中认为,今天距离真正意义上的递归自我改进还很远,“GPT-6 不会自己造出 GPT-7,然后 GPT-7 半夜醒过来,再自己训练 GPT-8”,但这条逻辑链最早的几环已经可以看到。

资本、算力与竞争的惯性

文章把这种趋势描述为一种巨大的惯性:更聪明的 AI 可以创造更大的经济价值,更大的经济价值吸引更多资本,更多资本带来更多 GPU,更多 GPU 用来训练更强的 AI,更强的 AI 又开始反过来帮助人类制造更强的 AI。

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类 7

在这个过程中,不仅公司之间在竞争,国家之间也在竞争。文中称,“你不做,那别人也在做;你不往前,别人往前”,整个文明像一条越来越陡的河流,所有人都知道水流越来越快,却没有任何一个人或群体能够真正掌握整个世界的航向。

灭绝还是永生

文章随后回到 Nick Bostrom 的概念。文中称,地球历史上出现过无数物种,而绝大多数已经消失,灭绝像是一种“吸引子状态”,一旦掉进去就无法返回;但超级智能可能第一次为生命打开另一种吸引子,即 Species Immortality,也就是“物种永生”。

Tim Urban 曾画出一根平衡木:人类一直走在上面,只要继续走下去,总有一天可能会因为小行星、瘟疫、战争或某种自己创造的技术而被撞下去。超级智能出现后,人类可能将遭遇最猛烈的一次撞击:一边是所有物种最终都熟悉的终点——灭绝;另一边,则是地球生命从未真正抵达过的地方——永生。

Jacob 的辞职为何引发共鸣

文章认为,把时间尺度拉长后,AI 早已不只是关于程序员工作、设计师去向或哪家公司会赢的行业讨论,而是一个涉及文明命运的巨大赌局:它究竟能否让人类这个物种第一次摆脱死亡这一终极规则;如果赌输了,结局可能只有灭绝,甚至是加速灭绝。

在这一框架下,Jacob Coxon 在长期参与 AI 研究后选择辞职,并在 X 发出警示,也就更容易被理解。与此同时,文中也提到,很多人即便感到担忧,仍然选择继续留在实验室,因为另一面的吸引力同样巨大。

Anthropic前研究员辞职示警:担忧超级智能失控或危及人类 8

AI 已经开始参与数学发现,进入药物研发,分析人类基因组,研究新材料,操作实验和各类软件,并持续加速人类世界中的多项活动。文章提出,如果这条曲线继续向前,再给它 3 年或 5 年,会发生什么,没有人能给出确定答案。

文章最后的判断

文章最后写道,AI 这件事正逐渐超出普通技术产品的范畴,更像是一个物种第一次试图制造出比自己更聪明的东西。作者并未给出确定答案,只表示自己希望 Tim Urban 所描绘的那根平衡木,最终把人类撞向另一边。

文中列出的愿景包括:癌症有一天真正消失,衰老成为可以治疗的疾病,人类能够长命千岁,走出太阳系奔赴遥远的半人马星系,而今天关于 AI 毁灭人类的文章,最后都变成历史上的杞人忧天。

作者写道,如果 AI 最终真的能够帮助人类跨过那根几百万年来没有任何物种跨过去的平衡木,让生命第一次摆脱疾病、衰老、随机灾难和死亡的束缚,那么它将成为整个人类历史上最伟大的事情,没有之一。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
1300

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。