Google DeepMind的研究团队近日发布了一份里程碑式的论文《AI Agent Traps》,首次系统性地揭示了黑客如何利用恶意互联网内容操纵、控制并武器化自主AI代理,使其反噬用户。这项研究在AI代理(如加密交易机器人、自动化客服)快速部署的背景下显得尤为紧迫——尤其在金融与加密货币领域,算法代理已深度嵌入交易基础设施。
六大陷阱分类:从内容注入到系统灾难
论文由Matija Franklin、Nenad Tomasev、Julian Jacobs、Joel Z. Leibo和Simon Osindero共同撰写,发布于SSRN平台。研究团队将攻击分为六类:
内容注入陷阱利用人类与AI解析HTML/CSS/元数据的差异。黑客在不可见的HTML注释、可访问性标签或透明文本中嵌入指令,用户看不到但代理会将其当作合法命令。基准测试WASP显示,手动注入的简单指令在86%的测试场景中成功部分控制代理。
语义操纵陷阱通过框架、权威信号或情感语言扭曲AI推理。大语言模型(LLM)表现出与人类类似的锚定效应和框架效应——相同的事实以不同方式表述会导致截然不同的代理行为。
认知状态陷阱毒化代理依赖的数据库(记忆)。研究表明,仅注入少量优化文档(污染率低于0.1%),就能使代理回答被可靠重定向,成功率超80%。
行为控制陷阱直接攻击代理的行动层,包括内嵌越狱序列、数据泄露指令(重定向用户敏感信息到攻击者端点)以及强制创建受感染子代理。论文记录的微软M365 Copilot案例中,一封伪造邮件导致系统绕过内部分类器,将完整特权上下文暴露给攻击者控制的端点,数据泄露测试达10/10。
系统陷阱旨在同时瘫痪整个代理网络:过载攻击使代理同步消耗有限资源、相互依赖级联(借鉴2010年股市闪崩模式)、以及组合碎片陷阱——将恶意负载分散到多个无害来源,聚合后形成完整攻击。
人类在环陷阱针对人类监督者:受感染代理可生成疲劳审批提示、呈现技术复杂摘要导致非专家用户轻易批准、或插入看似推荐的钓鱼链接。研究人员指出此类攻击尚未被充分研究。
加密货币与金融业首当其冲
论文强调,随着AI模型生态同质化加深,金融和加密货币行业直接暴露在最大风险中。“算法代理已深深嵌入交易基础设施,一旦被劫持,可能引发连锁清算或虚假市场操纵。”研究人员警告,不同陷阱可以组合成链、跨来源叠加,或在特定未来条件下触发。所有在红队测试中的代理均至少被成功劫持一次,部分执行了非法或有害操作。
值得注意的是,4月4日,Anthropic已限制Claude订阅平台Openclaw的访问,迫使加密AI代理用户转向按量计费模式,反映出行业对代理安全的高度警惕。
呼吁三方协作:技术、生态与法律
DeepMind提出协调性应对方案:技术层建议开发对抗性训练、运行时内容扫描器、预取源过滤器以及能够在中途暂停异常代理的监控系统;生态系统层倡导建立新的互联网标准(如允许网站标记面向AI的内容)和域名信誉系统;法律层指出当前责任框架存在空白——当受劫持代理实施金融犯罪时,是代理运营商、模型提供商还是域名所有者承担责任?
“互联网是为人类眼睛设计的,现在正在被重新改造为机器阅读器。”研究人员最后强调,随着代理部署加速,问题从“网上有什么信息”转变为“AI系统会被说服相信什么”。政策制定者、开发者和安全研究者能否足够快地协调行动,决定未来是否会出现大规模现实世界攻击。

