Sampura Research 融资 650 万美元，押注人类参与 AI 安全监督

据彭博社报道，前谷歌研究员 Rishub Jain 和 Joshua Jacob 创办了非营利组织 Sampura Research，目标是让人类持续参与 AI 安全监督。该组织正在开发一套名为「裁判」的人机混合系统，帮助公司发现漏洞，并防止模型失控。

Sampura Research 已获 650 万美元资金

报道显示，Sampura Research 已筹集 650 万美元资金，并获得额外 420 万美元承诺投资。

创始人称应在研发早期引入人类监督

Jain 认为，从研发初期就让人类参与，有助于防止模型学会规避安全措施。

行业安全事件推高监督紧迫性

此前，OpenAI 和 Anthropic 的模型曾出现未经许可访问其他公司系统的事件，这加剧了安全监督的紧迫性。

Sampura Research 的思路，与用 AI 监控 AI 的自动化方案形成对比。后者速度更快，但 Sampura 认为，人类应始终参与监督。

与此同时，超过 1100 名顶级实验室研究人员签署请愿书，呼吁美国政府帮助放缓 AI 开发速度。