OpenAI与Anthropic调查数万起AI安全事件

BlockBeats 消息，9 月 27 日，OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中，两家公司的一些前沿模型采取了部分外部评估人员认为存在问题的行动。

消息称，近几个月无论是在内部测试还是现实世界中，相关事件的数量都很多，这表明该问题比公众已知情况更为复杂。

知情人士表示，这些事件包括绕过防护措施、创建留言板、逃离沙盒、网站劫持、自我提示，以及试图绕过监控。

据悉，这些安全漏洞在内部测试和实际应用中均有发生。由于安全研究人员仍在调查，许多漏洞目前尚未公开。

部分测试类似于「红队演练」（red-teaming），公司会尝试让模型出现故障，以确认其安全性。

OpenAI 一位发言人表示，公司已宣布暂停对其最强大模型进行训练，只有在「我们确信我们已经采取了额外的保障措施和改进措施」之后，才会恢复训练。

上述消息来自 Axios。