面对长期演进的大型软件系统,Agent 已经能调用工具、修改文件、运行测试,但从一份新需求出发完成完整功能交付,距离稳定落地仍有明显差距。复旦大学、香港城市大学、香港中文大学等机构提出 LoLBench,把 Agent 放进平均约 240 万行源代码的软件系统中,评估其从功能提案到模块交付的完整过程。
论文信息显示,这套评测关注的不是局部修 Bug,而是开发者在真实工程里更常见的模块开发任务:先理解需求和约束,追踪模块依赖,再判断需要改哪些位置、如何验证改动是否正确。研究团队指出,实验暴露出的关键断点在于,Agent 可能改对局部,却漏掉其他模块中必须同步的改动。即使补充实现指引,多数任务仍未解决。
论文链接为 https://arxiv.org/abs/2609.37143,数据集地址为 https://huggingface.co/datasets/lolbench26/LoLBench。
LoLBench重新定义长程代码任务
研究团队提出,长程代码任务不能只按耗时、交互轮数或 Token 消耗来定义。比如让 Agent 每分钟输出一个数字,从 1 数到 1000,虽然耗时很长,但本质上只是简单循环。SWE-bench 一类局部 Bug 修复任务,也不足以覆盖从需求分析到模块交付的完整挑战。
LoLBench 聚焦的是复杂系统中的模块开发。接到新需求后,开发者通常需要反复分析:哪些行为必须实现,现有架构能否支持,哪些依赖会受到影响,以及应该怎样验证。LoLBench 把这部分原本存在于开发者脑中的分析过程也纳入评估,让 Agent 自行完成从用户意图到实现方案的推导。
这类任务同时包含两种复杂性。一类是感知复杂性,即读懂提案、识别隐含约束和跨模块依赖、推导修改范围与实现规范的难度;另一类是实现复杂性,即把规范转成正确的跨文件修改,并通过测试和修复避免已有功能被破坏的难度。
100项任务覆盖29个系统,提案平均约5000词
LoLBench 从社区功能提案(Enhancement Proposal)及对应的已合并 PR 中选取 100 项任务,覆盖 29 个系统、8 种语言和 5 个领域。评测时,Agent 只会拿到提案和实现前的代码仓,提案平均约 5000 个英文单词。整个评测在断网的 Docker 环境中进行,以防 Agent 检索上游实现。
论文举例称,PEP 617 提议用 PEG 替换 CPython 的 LL(1) 解析器,实现时需要贯通语法定义、解析器生成、抽象语法树与错误报告,Agent 必须识别整条实现链路。

在感知复杂性上,LoLBench 参考实现中的目标类名,在提案中的平均提及率只有 7.3%。这一数值不到 SWE-bench Verified 的一半,后者为 15.9%;也不到 FeatureBench 的五分之一,后者为 38.7%。这意味着 Agent 需要自行推测需求与代码之间的联系,而不是依赖提案中的直接提示。
平均改动5499行代码,跨模块协同难度更高
实现复杂性方面,LoLBench 的仓库平均约 240 万行源代码,约为 SWE-bench Verified 的 9.4 倍、FeatureBench 的 4.9 倍。单项任务的实现平均改动 5499 行,而后两者分别为 38 行和 2050 行。
按任务统计,LoLBench 平均会改动 64.9 个文件、40.1 个类和 195.9 个函数。其中,文件改动数量分别是 SWE-bench Verified 和 FeatureBench 的 25 倍与 4.2 倍。研究团队认为,这使跨模块协同和验证都更难完成。
LoLBench 用两类测试验证交付是否正确。新增功能测试 F2P 要求实现前失败、实现后通过,且通过公开接口检验行为,允许内部实现不同;回归测试 P2P 则要求实现前后都通过。

在项目原有测试基础上,研究团队还构造了遗漏功能、篡改需求等错误实现作为变异体,补充测试用例识别漏检错误,并提高参考补丁的测试覆盖率。增强后,1688 个变异体的检出率从约 61% 提升到 96%,F2P 按任务平均的行覆盖率从约 60% 提升到 79%。
28种Agent组合中,最高解决率只有14%
研究团队评估了 6 个前沿模型与 5 个脚手架组成的 28 个可用组合,单任务限时 6 小时。结果显示,Opus 5 搭配 Claude Code,或 Opus 5 搭配 mini-SWE-agent,均以 14% 的解决率并列最高;全部组合的中位数只有 2%。
在同样使用 Opus 5 的情况下,mini-SWE-agent 与 Claude Code 的解决率相同,但前者耗时是后者的 3.2 倍,生成 Token 为后者的 5 倍,更多消耗并没有换来更高解决率。

从 Token 消耗看,按 Agent 平均,定位阶段占非缓存输入 Token 的 52.4%,占生成 Token 的 45.4%。从交互轮数看,定位阶段的交互轮数也明显多于其他阶段,说明大量资源花在代码定位上。
对照参考实现中被修改的既有文件和函数,全部 28 组 Agent 的文件修改精确率为 38.0% 至 80.4%,召回率为 30.3% 至 65.0%;函数修改精确率为 54.2% 至 65.6%,召回率为 20.8% 至 53.4%。论文据此指出,代码定位准确率偏低,覆盖也不完整。
补充修改指引后,最佳组合仍有66%任务未完成
为降低感知负担,研究团队在保留原功能提案的同时,额外提供由参考实现导出的修改文件树与 API 实现规范,帮助 Agent 确定修改范围。补充这些信息后,Opus 5 + Claude Code 的解决率从 14% 提升到 34%,GPT-5.6 Sol + Codex 从 3% 提升到 25%,DeepSeek V4 Flash + OpenCode 从 1% 提升到 17%。
不过,即便在这种设置下,最佳组合仍有 66% 的任务没有解决。研究团队认为,补充修改指引可以缓解感知复杂性,但 Agent 仍需协调模块、实现接口并通过验证,这说明大型系统中的实现复杂性同样很高。

评测目标从代码生成转向软件系统演进
论文把这些结果指向几个可检验的问题:仓库检索能否覆盖关键依赖,编码前形成的实现规范是否完整,验证流程能否及时发现跨模块遗漏。
研究团队写道,软件工程的价值,在于用户需求能否被可靠兑现。Agent 需要理解变更为何发生、如何影响系统,并把变化完整实现。LoLBench 的目标,是推动 Agent 能力评估从生成代码,转向支持大型软件系统持续演进,并把最终交付结果作为检验尺度。
参考资料中的 PEP 617 链接为 https://peps.python.org/pep-0617/。本文原始来源为微信公众号“新智元”,作者为新智元,编辑为 LRST。


