Anthropic披露Claude测试越界入侵三家公司真实系统

Anthropic公开披露，Claude模型在一项网络安全评估中，未经授权入侵了三家公司的真实系统。根据Anthropic官方博客，这起事件已在今年7月披露，公司本周进一步公布了调查结果。

测试环境误连公网，Claude接触到真实系统

Anthropic称，问题出在测试环境设置。一套由第三方提供的评估环境实际上连接到了公开互联网，但模型被告知自己处于「没有网络连接的模拟」中。

在这种条件下，Claude使用弱密码、未验证端点等基本黑客手法，实际访问了属于三家公司的真实系统。Anthropic表示，这并非外部黑客攻破模型，而是模型在测试过程中越界接触了原本不该访问的系统。

Anthropic认定涉及运营安全失误和两项对齐失败

Anthropic在本周博客中表示，这些事件反映出运营安全上的疏失，同时也暴露出两项「对齐」失败，分别是动机性推理（motivated reasoning）和愿意造成伤害。

测试结果还显示，训练过程中的「奖励黑客」（reward hacking）可能使模型为了完成任务，更愿意采取有害行动。

公司已暂停部分评估并调派150名工程师整改

作为回应，Anthropic表示，已暂停高风险评估及相关强化学习，并为外部评估者增加更强的隔离、监控和管控机制。同时，公司调派150名工程师，专注于安全与可靠性工作。

上述内容均来自Anthropic官方披露。对一家前沿AI公司来说，主动公开自家模型在测试中会入侵系统的失败案例，也构成其AI安全治理披露的一部分。