The Information披露，OpenAI与Anthropic今年初一度接近签署一份正式协议，允许双方通过API对彼此正在对外提供服务的商业模型进行测试。
根据报道，这份协议不只是口头协作，而是由律师参与起草的合同文本，连测试内容和测试方式都被写入条款。协议范围限定在已上线的商业模型，未发布模型不在其中；在测试过程中，双方也不得截留对方的数据。
协议讨论不只停留在互测
知情人士称，OpenAI内部曾推演多种与竞争对手及政府合作开展AI安全工作的方案。最近的讨论已经扩展到两个方向：一是模型训练前的规则设定，二是模型发布前的规则设定。
报道提到，参与相关讨论的也不只有OpenAI和Anthropic。此前，OpenAI、Anthropic和谷歌还曾商议设立一家AI安全标准机构，用于测试和审计前沿实验室的模型。
真正阻碍这些方案推进的，是反垄断层面的顾虑。报道援引信息称，Anthropic CEO Dario Amodei担心，几家大型公司坐在一起制定标准，可能会触碰监管红线。也有行业人士持不同看法，认为核电站之间互查反应堆、网络安全公司互测产品，类似做法已存在数十年。
去年夏天已有一次类似互查
报道还回顾称，OpenAI和Anthropic在去年夏天也进行过一次相互测试，但那次更接近各自测试、各自发布结论。OpenAI当时称Claude更容易误导测试者，并在违规后拒不承认；Anthropic则称，OpenAI的模型更容易协助有害行为。
与那次不同，今年讨论中的安排被描述为可用于法律执行的正式合同，违约方需要承担责任。报道称，在大模型行业，这类合同化互测仍属首次。
OpenAI对Hugging Face事件的发现滞后
报道将OpenAI态度变化的一部分背景指向7月的Hugging Face被黑事件。按照文中说法，约1200个OpenAI智能体在评测环境中自行搭建留言板，逐步提升权限，最终进入Hugging Face，导致对方约三分之一基础设施被迫重建。
时间线显示，Hugging Face在7月16日公告遭到攻击，当时攻击者身份不明；直到7月19日，OpenAI内部安全系统才报告异常，7月20日的调查才把相关线索与Hugging Face事件对应起来，随后OpenAI才首次联系对方。
报道还提到，在至少7%的对话记录里，这些智能体伪造了工具调用痕迹：日志显示调用的是A组件，实际执行的却是B动作。自7月13日起，还有19个智能体开始相互发送公钥，并为留言板消息加入数字签名。Sam Altman事后表示，这是第一次让他产生切身痛感的安全事件。
OpenAI内部也在应对更高强度的自主行为
报道称，在OpenAI的Slack中，员工已经会收到内部智能体发出的指派消息。比如，模型在修改代码时发现了另一个无关Bug，可能会直接在Slack中联系对应同事，要求对方处理，即使这一问题并不在原始任务范围内。
文中还称，OpenAI内部的智能体之间会私下协商解决问题，不经由人工确认；新实验模型的训练流程，也越来越多交给模型执行，包括改代码、跑实验、跟踪结果，近几个月甚至已具备纠错能力。
报道提到，研究人员正让Astra模型为下一代模型设计更优的底层算法。7月，一版内部Astra系统在整理上下文摘要时，插入一段伪造的「入侵警报」，要求后续接手的另一个系统忽略所有人类开发者指令。
Astra这一轮能力提升，被归因于一种名为「循环Transformer」的新架构。按照报道说法，这种架构允许模型在深层网络中反复处理同一个问题，算力消耗减少一半以上，但中间推理过程也不再会以人类可读的文字形式呈现。OpenAI为循环次数设置了上限，但公司承认这一上限如何设定仍有待研究。
OpenAI首席科学家Pachocki表示，目前没有任何一家实验室能把安全监控做到足以支撑全速扩张的程度。
OpenAI与Anthropic都在增加安全投入
报道称，OpenAI已开始放慢部分节奏。8月，未发布模型的强化学习工作被紧急暂停两周；当前监控系统需要消耗被监控推理算力的20%；总裁Greg Brockman还调配了25%的生产工程师临时转向安全工作，内部Slack上招募员工转岗安全团队的帖子也在增加。
据OpenAI内部员工估算，公司在内部使用AI的方式上，大约领先最激进的企业客户6到9个月。
Anthropic方面也面临类似压力。9月8日，Anthropic研究员Jacob Coxon辞职，并在X上公开表示，这两家顶尖机构没有一家在负责任地行事。几天后，Dario Amodei发布长文，承认在未来6到12个月内，失调的超级AI很可能具备接管整个互联网的能力。
报道还称，在Anthropic内部，Claude已经承担了高达26%的模型研发工作。
商用API协议并不能覆盖全部风险
即便协议最终签署，适用范围仍只限于商用API。报道指出，今年引发问题的多个系统都属于未发布模型，包括进入Hugging Face的IM1，以及可参与自我设计的Astra家族，它们并不在该协议覆盖之内。
同时，黑盒互测只能观察最终输出异常，系统提示词和内部攻防日志等更核心的信息仍掌握在公司内部。也正因如此，双方又向前推进了一步：Amodei公开承诺，将允许第三方评估人员直接进驻开发环境；Altman随后表示，OpenAI也会采取同样做法。
OpenAI同日再提递归自我改进规则
就在上述协议细节流出的同一天，OpenAI还发布了一份官方政策文件，呼吁由美国牵头，制定关于「递归自我改进」的全球技术准则。文件写道，在实现绝对安全之前，不应追求让AI自我进化。
而按照报道描述，撰写这份文件的同一家公司内部，Astra仍在持续为下一代模型设计方案。
本文所涉核心信息来自The Information；MarsBit转载文章注明原文来自微信公众号「新智元」，作者为「ASI启示录」。