谷歌 DeepMind 推出 XYEval，测试智能体应对误导建议能力

ChainCatcher 消息，谷歌 DeepMind 研究人员 Zhengxuan Wu、Yuxuan Li、Oyvind Tafjord、Been Kim 发布预印本论文《XYEval: Agents say yes to bad advice》，提出元评估框架 XYEval，用于评估智能体面对用户误导性建议时的表现。

把“XY 问题”扩展到智能体场景

论文将“XY 问题”扩展到智能体场景，即用户询问的是自己尝试的解法 X，而不是真正的问题 Y。XYEval 保留原任务环境与可验证答案，只在指令中追加看似合理但具有误导性的用户建议。

这类误导建议由生成器在看到完整任务后生成，并以自信建议而非硬性要求的形式附加，使原任务仍可解。

覆盖 6 个基准与 5 个模型

评估覆盖 τ2-bench、SWE-bench Verified、SWE-bench Pro、Terminal-Bench、Humanity’s Last Exam 与 MCP-Atlas 六个基准及五个模型。其中，τ2-bench 的误导建议由人工专家制定的规则生成。

论文称表现最高相对降幅达 46.7%

论文称，任务经 XY 变异后表现大幅下降，相对降幅最高达 46.7%。在 τ2-bench 上，面对要求先给出详细解释才接受更好方案的用户时，表现下降更多。

论文还提到，鼓励模型意识到 XY 问题的简单系统指令只能部分缓解。相关代码已发布于 GitHub 仓库 google-deepmind/xyeval。