Ethan Mollick:长任务会放大模型单步能力差距

Ethan Mollick:长任务会放大模型单步能力差距

N
News Editor
2026-10-16 07:14:50
宾夕法尼亚大学沃顿商学院教授 Ethan Mollick 引述一篇长程任务研究称,生成式 AI 模型在单步准确率上的微小差异,放到需连续执行多步的任务后会逐步放大。论文聚焦模型能否把已知计划持续执行完,而非自行想解法。Mollick据此认为,在代理工作流里,负责规划和协调的角色更适合交给判断力更强的模型;不过论文并未直接比较多模型代理架构,也没有量化成本效益。

宾夕法尼亚大学沃顿商学院教授 Ethan Mollick 引用一篇关于长程任务的研究指出,生成式 AI 模型在简单测试中的差距看起来可能不大,但一旦进入需要连续执行数十个步骤的任务,这种差距会被逐步放大。按照他的解读,单步准确率的小幅提升,可能转化为模型完成更长任务的能力,因此在 AI 代理工作流中,负责规划与协调的角色应交给判断力更好的模型。

研究聚焦长程执行,而非模型自行想出解法

这篇论文题为《The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs》,把观察重点放在「执行」能力,而不是模型能否自己提出解决方案。研究者先向模型提供完成任务所需的知识与计划,再观察模型能否把一连串步骤持续做完。

论文称,即便较小模型在单一步骤上的正确率已经接近完美,规模更大的模型仍能正确执行更多轮次。随着步骤继续拉长,各模型的逐步正确率也会下降,单步表现上的细小差异,会在长任务里被持续累积。

错误会在对话脉络里累积

研究还提到,这种差距不只是因为上下文变长。论文观察到一种「自我条件化」现象:当对话脉络中包含模型此前犯下的错误,模型之后继续出错的概率也会上升。单纯扩大模型规模,无法完全消除这种效应。

不过,论文也指出,让模型进行思考可以减轻这一问题,并让它在单次工作阶段中完成更长的任务。该论文已发表于 ICLR 2026,最新版本在今年 3 月修订。

Mollick将结果延伸到代理工作流中的模型选择

Mollick据此把研究结果延伸到模型选型问题。他表示,如果任务需要研究、调用工具、检查结果并多次修正,那么单步能力上的微小差异,可能会在整个流程里不断累积。基于这一点,他主张让更强的模型担任「协调者」,而不是因为便宜模型在短测试里成绩接近,就直接拿来替代前沿模型。

不过,文中也明确区分了研究结论与Mollick的应用解读。论文测试的是模型在指定长程任务中的执行能力,并未直接比较多模型代理架构,也没有量化不同模型组合的成本效益。企业若要决定是否采用更昂贵的协调模型,仍需结合自身任务、错误代价、延迟与推理成本自行测试。

部署代理系统仍需检查点和恢复机制

这项研究显示,长程任务的核心挑战在于错误可能沿途传递,而不是某一个步骤答错后就结束。放到实际部署中,把任务拆成可验证的小步骤、保留人工复核点,并让系统能够回退到此前状态,仍是降低风险的重要做法。

论文显示,更强的模型与额外思考,能延长可靠执行的范围,但这并不等于模型不会出错。研究释放出的信息也不是「所有工作都该使用最贵的模型」,而是模型基准测试和部署决策需要把任务长度与连续执行能力纳入考量。短题得分接近,不代表模型在复杂工作流中可以直接互相替代;至于更强模型是否适合充当协调者,仍要看具体工作流能否从其判断和监督能力中受益。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
100

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。