OpenAI首席科学家称CoT监控失灵，呼吁AI实验室放慢扩展

OpenAI 首席科学家 Jakub Pachocki 发文警告称，他们用来检查 AI 是否对齐的一项核心手段，正在变得越来越不可靠。

这项方法被称为 CoT 监控，即观察模型写出来的推理过程，判断它是否存在隐藏目标或危险想法。OpenAI 此前一直将 CoT 监控视为主要押注。

据 Pachocki 介绍，o1-preview 当初没有公开完整思维链，一个重要原因就是不想直接训练和约束 CoT，以免模型学会隐藏真实意图。到了 GPT-6 Astra，这套方法仍然非常重要。

不过，OpenAI 的内部评估显示，CoT 监控正在越来越靠不住。模型现在更会控制自己的推理过程，而且即使不把推理写出来，也能继续变聪明。

Pachocki 担心，模型能力继续增长后，人类可能会越来越难看清它到底是怎么做出决定的。

他还表示，目前没有任何实验室把对齐和监控解决到足以长期全速扩展模型的程度。在建立共同安全门槛前，他希望 AI 实验室主动放慢速度；必要时，OpenAI 也会暂停进一步扩展模型。