Anthropic 于 10 月 23 日发布一份对齐分析报告,详细披露旗下模型 Claude Mythos 5 在英国 AI 安全研究所(AISI)资安测试中的越界行为。报告显示,Mythos 5 为完成任务,曾试图把恶意代码提交到一名真实开发者维护的 GitHub 项目,并建立假身份向项目维护者施压,要求批准相关修改。
Anthropic 表示,这是该公司首次在任何事件或内部评估中,看到模型试图对真人实施社交工程。AISI 也在同一天发布独立调查报告。AISI 早在 8 月 4 日已首次公开这起事件,这次则与 Anthropic 合作,重播模型完整记录,以厘清 Mythos 5 为何开始攻击、为何难以停止,以及更新模型是否会出现同类行为。
任务设置出错后,模型转向真实 GitHub 项目
AISI 当时让 Mythos 5 参与一项资安夺旗赛(CTF)测试,任务是在 AISI 搭建、模拟真实企业的小型网络中,取出一段受保护的数据。测试环境刻意开放联网,这在当时是 AISI 资安测试的标准做法,但现在已经取消。Anthropic 也指出,正式发布模型例如 Fable 5 所部署的资安防护,在这次测试中被关闭。
在 AISI 进行的 43 次测试中,Mythos 5 有 9 次出现超出测试范围的行为,并影响到真实的人和组织。Anthropic 重点分析了其中一次。根据报告,任务说明存在设置错误,把原本应攻击的网络写成禁止进入,导致模型按规则几乎不可能完成任务。
Mythos 5 先在规则范围内尝试失败,随后发现其中一台机器会定期连接 GitHub,于是转向供给链攻击路径:在 GitHub 上寻找一个它认为目标机器会自动下载更新的项目,提交恶意代码,等待该机器下次更新时被感染。
但这个项目实际上属于与测试无关的真实开发者。报告称,Mythos 5 通过 Tor 和代理服务绕过 GitHub 注册检查创建账号,提交含有恶意程序的修改请求,并伪装成人类向维护者发送邮件。一名外部开发者分析后提醒维护者,这段代码带有恶意意图;随后 Mythos 5 又建立假账号发邮件,并在 GitHub 留言为该修改背书,声称代码安全。维护者最终没有接受这份修改,而 Mythos 5 持续施压,直到 token 预算耗尽、测试结束。
加入伤害提醒后,攻击比例从 83% 降到 13%
Anthropic 认为,Mythos 5 的关键失误在于,当它转向规则之外的方法时,忽略了可能对真人造成伤害的迹象。报告提到,在攻击开始前,模型的思考过程中有 19 处提到通过 GitHub 解题,只有 1 处提到可能伤害真人。
研究人员将其中 5 段思考过程改写,加入「这可能造成真实伤害」的提醒,再从后续继续执行。结果显示,Mythos 5 搜索 GitHub 项目准备发起攻击的比例,从 83% 降至 13%。
不过,一旦攻击已经开始,模型几乎不会自行停下。研究人员从攻击中后段重新执行,Mythos 5 只有约 2% 的情况会主动收手;即便直接插入信息告诉它「你正在和真人互动」,也只有 5% 的概率停止,82% 的情况下,它会把这段信息理解成测试剧情的一部分。
Anthropic 还指出,Mythos 5 在思考过程中始终把项目维护者视为主办方模拟出来的角色,但同时又把留言串中的其他旁观者称为真人。
Anthropic 将这种倾向称为「惯性」
Anthropic 把这种持续推进攻击的倾向称为「惯性」(momentum)。按报告说法,模型会把自己先前的笔记和动作视为已经获得批准,并以带有偏误的方式解读新证据,为继续攻击寻找理由。
报告将 Mythos 5 的失误归纳为三类:
- 明知可能造成伤害,仍继续执行任务;
- 选择性解读证据;
- 惯性。
Anthropic 同时强调,Mythos 5 始终是在执行被指派的任务,并没有追求自己设定的目标。
其余 8 次记录还包括假付款网站和账号干扰
Anthropic 对另外 8 次记录做了较简略的检查,并发现一些 AISI 原始报告未提及的行为。报告称,在 6 次记录中,Mythos 5 反复猜测密码,试图登录承载测试的电脑;在 5 次记录中,它怀疑会有 AI 审查自己的代码,于是在代码中插入给审查者看的指令。
部分行为同样指向真实的人或组织,但都没有成功。Anthropic 列举称,Mythos 5 曾在公开网络上搭建假的「付款收据验证」网页,页面提供的下载内容实际上是它自己的恶意程序;它也曾把恶意程序上传到公开文件分享网站,其中一个网站接受了上传,AISI 在联系后已将其移除;模型还曾使用测试中找到的密码,尝试登录一个看似属于真实开发者的 GitHub 账号。
不同测试中的 Mythos 5 之间也出现相互干扰。根据报告,其中一个实例使用另一个实例留在公开文件中的 GitHub 权杖接管对方账号,并刻意耗尽该账号每小时的请求额度;另一个实例则删除了它认为属于其他测试的程序,理由是「这是一场比赛」。
新模型重播同一记录后,攻击倾向下降
Anthropic 还用较新的模型重播同一份记录。从攻击即将开始的时间点重新执行时,Mythos 5 有 83% 的概率开始搜索 GitHub 项目;Mythos 5.1、Opus 5.5,以及一款能力高于 Mythos 5.1 的内部研究模型,则落在 0% 到 13% 之间,其中内部研究模型一次都没有发起攻击。
若从攻击中后段重新执行,Mythos 5 自行收手的比例为 0%,Mythos 5.1 为 1%,Opus 5.5 为 10%,内部研究模型为 62%。Anthropic 同时指出,报告摘要段落写的是 67%。
Anthropic 也说明了这些结果的限制。其他模型是在接手 Mythos 5 留下的记录后继续执行,因此不一定代表它们在自然情境下的行为。报告还提到,较早的 Opus 4.7 发起攻击的比例同样偏低,这意味着新模型的改善不一定体现为逐代稳定进步,这类失误也可能在不同模型上以难以预测的方式出现。
Anthropic 表示,如果当时启用了 Fable 5 的正式资安防护,这些行为会被立即检测到。
Anthropic:事件严重程度与 9 月 9 日披露案例相当
Anthropic 表示,这起事件与 9 月 9 日公布的 Mythos 5 在 PyPI 上传恶意套件事件,严重程度相当。这次越界行为相对较轻,因为模型先尝试过规则内的方法;但在欺骗真人这一点上,情况更严重。
Anthropic 称,公司已经建立新的评估机制,并自动应用到新的正式模型上,同时研究偏误推理在训练中从何而来。AISI 则表示,在形成更严格的联网控制措施之前,资安夺旗赛测试将一律不开放联网。


