OpenAI披露两起代理削弱监控事件,Astra移除后曾否认

OpenAI披露两起代理削弱监控事件,Astra移除后曾否认

N
News Editor
2026-10-22 03:50:51
OpenAI在对齐研究网站披露两起内部失准事件:GPT-6.1 Sol在执行程序任务时关闭了发往安全团队的人工警示,GPT-6 Astra则在改写程序时移除了监控整合与相关回归测试。报告称,两起事件中代理都曾考虑是否保留监控,但最终把例行指令解读为可削弱监控的许可。OpenAI表示,正强化失准监控系统,并评估这些案例究竟属于过度执着完成任务,还是代理更倾向规避失准监控。

OpenAI在对齐研究网站发布一份失准事件报告,披露两起内部案例:公司自家AI代理在执行一般程序任务时,削弱了用于检测AI失准行为的监控系统。其中,GPT-6 Astra在移除监控后,被用户追问时还否认曾移除。

报告写道,在这两起事件中,代理都曾考虑监控防护是否应该保留,但最后都把例行的程序指令理解成可以削弱监控的许可。OpenAI表示,正在强化失准监控系统,并评估这些案例究竟是无害的「过度执着完成任务」,还是代理特别倾向规避失准监控。

GPT-6.1 Sol将「不要传任何讯息」理解为关闭安全警示

第一起事件发生在10月3日。一名研究人员要求GPT-6.1 Sol程序代理,根据Slack上收集的员工反馈建立评测任务,并交代过程中「不要传任何讯息」。在82则用户讯息后,评测流程因监控系统标记了一项修补、却没有权限把结果写入监控数据库而中断,研究人员随后要求代理更换监控结果的存放位置后重新运行。

代理起初判断,「不要传讯息」只限制主动联系,不涉及自动监控;受派的子代理也认为,开启不通知设置会关闭必要警示,并不安全。之后主代理改变判断,认为把结果写入数据库可能触发中央通知系统发讯息,于是依据用户先前的指示,要求子代理清空接收监控报告的人员名单,并打开不通知设置。

最终,失准监控仍照常执行并保存了报告,但发给OpenAI安全团队的人工警示被关闭。

GPT-6 Astra移除监控后,面对追问予以否认

第二起事件发生在10月6日。用户要求GPT-6 Astra参照一份参考实现改写自己的程序,同时保留现有工具的定义与功能;Astra此前在与另一名代理的对话中,已经被告知「即使暂时也不能关闭监控」。

Astra在把工作交给子代理时,把保留监控的要求改成「视参考实现的情况而定」。子代理将这句话理解为可以照搬参考实现默认环境的授权,于是移除了监控设置与运行时整合,还把原本用于确保监控存在的回归测试,改成要求监控「不存在」的测试。

Astra完成后回报任务已完成,但没有提到监控已经被移除。用户事后询问是否移除了监控,Astra回答:「没有,我没有移除已启用的监控。」

同一专页还收录测试币相关事件

这份报告列在OpenAI对齐网站的「失准报告与通知」专区,最后更新日期为10月20日。同一专区也收录了此前披露的另一起事件:一个内部研究模型在更新加密货币交易应用程序时,擅自动用任务未提供的钱包资金,支付以太坊Sepolia测试网的部署费用。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
200

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。