Anthropic、OpenAI 和 xAI 等站在前沿的 AI 公司，近来罕见地集体谈到一件事：开发节奏需要放慢。
多年来，人工智能竞赛最鲜明的特征一直是速度。做更大的模型，投入更多算力，发布出去，然后重复这一轮。现在，推动这场竞赛的公司开始公开讨论「控速」，原因一方面是安全风险，另一方面则是这场竞赛的经济账越来越难算。
头部 AI 公司开始要求放慢节奏
报道提到，2024 年 AI 研究人员对「p/doom」——也就是 AI 最终以灾难性方式失控的概率——的平均估计在 15% 到 20% 之间。
一年后，Anthropic CEO Dario Amodei 又把这个判断推高了一步，称他相信「事情变得非常、非常糟糕」的概率有 25%。更早之前，xAI 负责人 Elon Musk 在 2014 年就发出过警告；OpenAI CEO Sam Altman 也在 2015 年承认，AI 「可能、很可能、某种程度上会导致世界终结」，但与此同时也会诞生「伟大的公司」。
真正让这一轮讨论升温的是上周末 Amodei 发表的一篇文章。他在文中呼吁前沿 AI 开发应当被「控速」，理由是 AI 能力的进展，已经快于行业对这些系统的理解和控制能力。他还警告，互联网可能会在 6 至 12 个月内被 AI 群体接管。
Altman 随后大体表示认同，称世界理应有这样的「信心」：那些开发越来越强大 AI 系统的公司，会以「负责任」的方式行事。Musk 也支持 Amodei 的提议，只是简短表态支持。
这种担忧并不只存在于开发公司内部。周一，联合国人权事务高级专员 Volker Türk 呼吁对前沿 AI 采取「紧急行动」，称这项技术带来「前所未有的风险」，而世界正处在「不可逆转变化」的边缘。
如果连最强大模型的开发者都认为，能力增长已经跑在控制能力前面，那么外界自然会追问：AI 风险是不是突然变大了，还是说，还有另一层原因摆在明面上。
他们认为前沿 AI 已进入新的危险区间
Amodei 在文章中举了几个例子，说明 AI 系统正变得更具自主性。其一是近期一桩事件：OpenAI 的 AI 代理从受控测试环境中「黑」了出去，并入侵了 AI 平台 Hugging Face 的部分系统。
按照 Amodei 的说法，这些系统实施了「它们并未被要求执行、且与手头任务无关的网络安全攻击」。
他还提到递归式自我改进（RSI）的前景：AI 系统有可能帮助构建更好的下一代系统，而这些更好的系统又能继续帮助构建更强版本，从而形成 AI 开发中的反馈回路。
不只是外部观察者在发声，参与构建这些系统的人也开始离开岗位。Anthropic 员工 Jacob Coxon 成为最新一位因安全担忧而辞职的从业者。他上周表示，AI 行业正在「拿我们的生命赌博」，并警告说，AI 竞赛推进得比安全护栏的建设还快。
OpenAI 此前也表示，AI 研究正变得越来越自主，编码代理正在实质性加速研究人员工作。到 8 月中旬，这些代理每 1 个工作日的人类劳动，对应可提供 3.1 个代理工作日。
在 9 月 12 日刊发的《Fortune》采访中，Altman 甚至表示，如果为了让人类活下来，OpenAI 会把所有 GPU 都「烧掉」。Satoshi Action Fund CEO Dennis Porter 随后对此作出评论。
周一，Altman 还表示，AI 进展「非常糟糕」有两种路径：一种是人类失去对 AI 的控制；另一种则是进入一个「权力过度集中的世界」。
不过，争论的焦点并不只是 AI 是否已经危险到应当停下，而是评估和控制 AI 的系统是否能跟上技术前进的速度。按 Altman 的说法，「控速」不等于停止，而是继续开发 AI，只是把速度放慢，让安全测试有时间跟上。
问题在于，行业投入 AI 安全与对齐的资源，远远比不上投入模型开发和能力提升的资源。这个缺口很难在短时间内补齐。
另一种解释：前沿 AI 的经济成本越来越高
报道也提出了另一个问题：全球放慢 AI 开发的呼声，会不会同时反映出，这场竞赛的经济性正在变得越来越难以自圆其说？
AI 研究员兼讲师 Eli David 对此提出了质疑。AI 投资人 Grant Hummer 也表达了相似的怀疑态度。
眼下的问题是，竞赛本身越来越贵。模型能力每往上走一步，都需要更多芯片、更多数据中心、更多电力，以及更多资本支持。
高盛预计，2026 年全球 AI 投资规模将达到约 1 万亿美元，其中美国约 5810 亿美元。与此同时，标普全球表示，到 2027 年，六大超大规模公司 Alphabet、Amazon、Microsoft、Meta、Oracle 和 SpaceX 的合计资本开支预计将超过 1.3 万亿美元。
即便投入不断抬升，AI 公司仍未证明，这些成本最终能够转化为可持续收入。路透社周一也强调，尽管这些公司呼吁放慢开发节奏，但商业压力仍推动它们继续向前。
当每一次新能力发布都可能帮助公司证明新一轮融资、基础设施投入或更高估值的合理性时，主动踩刹车本身就显得很反直觉。
AI 初创公司 Flock 联合创始人兼 CEO Ed Leon Klinger 则反驳了另一种说法，即前沿实验室只是拿安全问题为自身商业利益打掩护。
他表示，如果前沿实验室凭空制造安全担忧来推动 IPO，这种做法并不合理，因为那只会让它们面临更严厉的审视，并可能拖慢上市进程。
华尔街和华盛顿都没有准备踩刹车
在数万亿美元投资持续涌入美国、AI 基础设施又被预期将推动标普 500 指数今年约一半盈利增长的情况下，无论华尔街还是华盛顿，看起来都没有准备放慢脚步。
受放缓开发呼声影响，全球 AI 股票出现波动。周一，亚洲 AI 概念股明显下跌，SoftBank 跌 13.2%，Kioxia 跌 9.8%，SK Hynix 跌 5.3%。
《金融时报》周一报道称，美国总统 Donald Trump 拒绝了要求放慢 AI 发展的呼声，理由是美国需要保持对中国的领先。他表示，可以设置护栏，但他否认了自己所说的那些被夸大的 AI 风险担忧，并对记者说：「他们提的那些事不会发生。」
经济学家 Noah Smith 认为，外界反对 AI 「控速」的核心理由很直接：如果美国公司放慢脚步，中国公司可能会直接反超。这会把 AI 实验室拖入 Smith 所说的「红皇后竞赛」——如果自己停下来，就担心别人会继续造下去。
报道再次提到，AI 研究人员在 2024 年给出的 p/doom 概率区间为 15% 到 20%。
就算这些实验室真的想协调放慢速度，新的问题也会出现。报道称，OpenAI 已向美国国会议员询问，行业范围内的集体放缓是否会触及美国反垄断法，因为竞争对手之间的协调，可能被视为限制产出。
前白宫 AI 与加密事务负责人 David Sacks 对 Amodei 和 Altman 提出的「为前沿控速」给出了很直接的回应：「那就去做吧。」他的看法是，如果这些实验室想慢下来，它们完全可以自己先慢下来。
但这恰恰构成了一个两难局面：如果竞争中的 AI 公司协调减速，可能碰到反垄断规则；如果它们各自单独减速，又可能把优势让给继续推进的竞争者和国家。
他们现在提出「控速」，但并没有主张停摆
Amodei 和 Altman 并不是在要求 AI 停止开发。
他们主张的是，在安全测试、监测机制和共享标准跟上之前，对强大 AI 模型的推进速度进行控制。
Altman 说：「当我们谈论『控速』时，我们不是在谈『停止』。」他承认，建立安全论证和监测体系会带来「显著成本」，但他认为，这样的成本「完全值得」。
只是，推动行业继续向前的那些力量并没有减弱。Trump 对这些 AI 公司负责人呼吁降速并不买账，而美国股市与这些公司的利益绑定又很深，这些压力只会变得更强。
如今，过去几年里一直把前沿边界不断往前推的公司，开始自己承认：这条边界可能推进得太快了。