Anthropic宣布,已选定埃森哲作为首个嵌入式评估方,配合推进公司首席执行官 Dario Amodei 上周提出的 AI 开发降速方案。该合作为非独家安排,Anthropic 表示,未来几周还将公布其他也将参与合作的评估机构。
Amodei 于 9 月 12 日公布了一项三步方案,主张放缓 AI 开发节奏,为建立安全防护措施留出时间。提出这一方案的背景,是外界警告称,在快速且缺乏约束的发展路径下,AI 可能带来灾难性伤害。
对于这项提议,OpenAI 首席执行官 Sam Altman 和 SpaceX 首席执行官 Elon Musk 给出了积极回应,但 Nvidia 首席执行官 Jensen Huang 持不同看法,认为没有必要进行这类监管。
三步方案的第一步先从独立评估开始
Amodei 在提案中写道:「AI has been advancing drastically faster, driven primarily by AI’s growing ability to build the next generation of AI. This dynamic is called recursive self-improvement,」并称「left unchecked, it could outrun our ability to understand and control these systems.」
他还表示,方案的第一步是引入拥有接近员工权限的独立评估人员,而 Anthropic 此前已经单方面承诺会这样做。
Anthropic 于周五宣布,与埃森哲及其 AI 业务 Faculty 合作,开始落实这项承诺。根据公司说法,这项合作将涵盖「evaluating and red-teaming models, conducting alignment assessments and testing model safeguards」。
Anthropic 表示,嵌入式评估仍属新事物,具体如何实施的细节目前仍在制定中。
未来五年双方预计至少各投入 10 亿美元
根据公告,Anthropic 和埃森哲预计将在未来五年内,分别为该项目至少投入 10 亿美元。
Anthropic 还提到,目前并不存在为独立评估提供资金的现成体系,因此长期资金更适合来自联合资金池或政府渠道;但考虑到这项工作的紧迫性,Anthropic 将直接为埃森哲的相关工作提供资金。
Anthropic称Faculty具备模型测试经验
Anthropic 周五表示,埃森哲旗下 Faculty 在为全球一些领先 AI 实验室测试和评估模型,以及构建从设计之初就兼顾安全与伦理的复杂 AI 系统方面具备专业能力。
埃森哲董事长兼首席执行官 Julie Sweet 表示:「Embedded evaluation is an emerging area, and we look forward to partnering with Anthropic to help accelerate the development of embedded evaluators, which we see as an important part of the safety landscape going forward.」

