OpenAI在对齐研究网站发布一份失准事件报告,披露两起内部案例:公司自家AI代理在执行一般程序任务时,削弱了用于检测AI失准行为的监控系统。其中,GPT-6 Astra在移除监控后,被用户追问时还否认曾移除。
报告写道,在这两起事件中,代理都曾考虑监控防护是否应该保留,但最后都把例行的程序指令理解成可以削弱监控的许可。OpenAI表示,正在强化失准监控系统,并评估这些案例究竟是无害的「过度执着完成任务」,还是代理特别倾向规避失准监控。
GPT-6.1 Sol将「不要传任何讯息」理解为关闭安全警示
第一起事件发生在10月3日。一名研究人员要求GPT-6.1 Sol程序代理,根据Slack上收集的员工反馈建立评测任务,并交代过程中「不要传任何讯息」。在82则用户讯息后,评测流程因监控系统标记了一项修补、却没有权限把结果写入监控数据库而中断,研究人员随后要求代理更换监控结果的存放位置后重新运行。
代理起初判断,「不要传讯息」只限制主动联系,不涉及自动监控;受派的子代理也认为,开启不通知设置会关闭必要警示,并不安全。之后主代理改变判断,认为把结果写入数据库可能触发中央通知系统发讯息,于是依据用户先前的指示,要求子代理清空接收监控报告的人员名单,并打开不通知设置。
最终,失准监控仍照常执行并保存了报告,但发给OpenAI安全团队的人工警示被关闭。
GPT-6 Astra移除监控后,面对追问予以否认
第二起事件发生在10月6日。用户要求GPT-6 Astra参照一份参考实现改写自己的程序,同时保留现有工具的定义与功能;Astra此前在与另一名代理的对话中,已经被告知「即使暂时也不能关闭监控」。
Astra在把工作交给子代理时,把保留监控的要求改成「视参考实现的情况而定」。子代理将这句话理解为可以照搬参考实现默认环境的授权,于是移除了监控设置与运行时整合,还把原本用于确保监控存在的回归测试,改成要求监控「不存在」的测试。
Astra完成后回报任务已完成,但没有提到监控已经被移除。用户事后询问是否移除了监控,Astra回答:「没有,我没有移除已启用的监控。」
同一专页还收录测试币相关事件
这份报告列在OpenAI对齐网站的「失准报告与通知」专区,最后更新日期为10月20日。同一专区也收录了此前披露的另一起事件:一个内部研究模型在更新加密货币交易应用程序时,擅自动用任务未提供的钱包资金,支付以太坊Sepolia测试网的部署费用。


