扩散智能发布了新的扩散语言模型 Clover-35B-A3B-Preview,把扩散模型带进了代码生成、网页操作、工具调用和 HTML 生成等 Agent 场景。

从公开演示看,这款模型在使用方式上与常见大语言模型接近,但速度是最先被强调的特征。文中体验显示,在生成一个太阳系模拟器时,Clover 思考约 1 秒后,用 4 至 5 秒生成了一个可交互的太阳系模拟器;在将一组简历信息整理成 LaTeX 格式简历代码时,耗时也只有十来秒。
Clover 与 Jev 组合的速度对比
扩散智能给出了 Clover 在网页 Agent 评测 WindTunnel 上的数据。该评测包含 49 个任务,每个任务尝试 3 次。结果显示,Clover 的中位执行时间为 1.52 秒,Jev+Mercury 2.5 组合为 3.21 秒,前者用时少了一半以上。
成功率方面,Clover 为 98.6%,Jev+Mercury 2.5 为 95.9%。按照原文说法,与同表中的 Gemini 相比,Clover 的速度也快出数倍。
350 亿参数,采用 MoE 架构
Clover-35B-A3B-Preview 采用 MoE 架构,总参数为 350 亿,每个 token 激活约 30 亿参数,并支持思考模式。

这也是扩散智能将其扩散语言模型从此前 Dream 7B 的 70 亿参数,推进到 350 亿总参数规模的一次升级。团队强调,参数规模提升后,Clover 的速度并未因此变慢,在同尺寸对比中超过了自回归模型。
官方演示聚焦连续 Agent 任务
除了交互页面和代码生成,官方演示还展示了 Clover 在复杂任务和 WebUI 生成上的 Agent 能力。
根据介绍,Clover 可以通过 WebMCP 连续处理 6 项任务,涉及开票、课程报名、金额汇总、活动状态查询、客户信息查询和发票信息查询。报道称,从对比视频可以看到,Clover 不仅完成了任务,在执行速度上也明显快于 Gemini 3.6 Flash。
在线购物场景中,Clover 还能按要求找到指定款式、黑色、L 码的 T 恤,加入购物车,填写访客信息,并完成测试结账流程。

原文特别提到,连续任务处理是这次演示里更值得关注的部分。此前扩散语言模型虽然具备并行生成的速度潜力,但在 Agent 任务中稳定性仍有限,常见问题包括工具调用格式出错,以及在同一步骤上反复尝试、无法根据返回结果调整动作。Clover 这次的进步,主要体现在调用工具、读取反馈并继续执行,直到完成任务的连续操作上。
工具使用与代码评测成绩
按照团队公布的数据,Clover 在工具使用相关的 τ³ Overall 和 BFCL-v4 评测中,分别得到 65.3 和 67.9,位居前列。
代码能力方面,文中作者还让 Clover 生成了一个个人 Agent 的网页界面,整个生成过程耗时十几秒。
在基准测试中,Clover 在 SWE-bench Verified 上得到 73.6;在 Terminal-Bench 2.1 上得到 51.7。前者考察真实代码仓库问题解决能力,后者考察终端任务执行能力。
从生成交互页面,到调用工具并完成业务流程,再到代码评测,Clover 这次展示的重点,已经不只是文本生成,而是把扩散语言模型推向更完整的 Agent 工作流。

扩散语言模型如何生成文字与代码
原文对扩散语言模型的工作方式做了说明。常见的自回归语言模型,会根据前文预测下一个 token,生成一个,再生成下一个,也就是逐个串行生成。
扩散语言模型则采用另一种方式:允许多个位置同时更新,再经过几轮完善,逐步得到结果。这里的扩散去噪,可以理解为把被遮住或受到扰动的内容,逐步恢复成符合上下文的文字。
具体到 Clover,它采用块扩散方法,把待生成内容分成若干块,块与块依次推进,块内多个位置并行更新并相互参考。这样一轮计算就有机会推动多个位置的生成,减少逐个生成带来的等待。
不过,并行生成不等于一轮就能完成。扩散模型通常需要多轮去噪,轮数太少,内容可能还没调整好;轮数增加,计算开销也会随之上升。到了代码和 Agent 任务中,上下文还会持续变长,之前的要求、已执行的操作和工具返回结果都会影响下一步,历史信息的保存和读取也会影响效率。

Clover 的改进:历史记忆与当前生成分工
针对这些问题,Clover 的改进思路是让历史记忆和当前生成分别承担不同角色。
按照原文介绍,Clover 围绕块扩散重构了门控 Delta 网络(GDN):已经生成的上下文被压缩进持续更新的状态,供后续步骤读取;当前生成的块则通过双向注意力,让块内 token 相互参考。
同时,Clover 将历史记忆的读出作为独立的信息单元,与当前 token 一起参与注意力计算,让模型自行学习如何权衡前文与当前内容;再通过可学习的块大小校准,减少块变大后历史信息被稀释的问题。
这些调整的目标,是让并行生成、历史信息利用和计算效率更好配合,这也是 Clover 进一步进入代码和 Agent 任务的关键。
扩散语言模型近两年的关注点
报道提到,扩散语言模型近两年受到关注,主要因为相对自回归模型有两方面潜在优势。
- 一是允许多个位置同时生成,有机会减少逐 token 生成带来的串行等待。对于需要反复生成代码、调用工具的 Agent,这一点尤其受到关注。
- 二是生成过程中前后内容可以相互参考。在双向建模设计下,多个位置能在迭代中共同调整,为处理内容依赖关系提供另一种方式,Clover 当前块内的交互就是一种实现。
围绕这些方向,学术界和产业界已经给出不同尝试。原文列举了何恺明今年参与的 ELF、谷歌推出的 DiffusionGemma,以及国内大厂面向代码任务的扩散语言模型研究。不同方法都在尝试把另一种生成方式转化为可用的能力和效率。
从 DiffuSeq 到 Dream 7B,再到 Clover
Clover 背后的团队是扩散智能。根据原文,扩散智能由香港大学孔令鹏教授及其博士生龚珊三、叶佳成联合创立,团队对扩散语言模型的探索可以追溯到 2022 年。
2022 年,团队提出 DiffuSeq,研究如何用扩散模型完成序列到序列的文本生成,也就是给定一段文字,再按条件生成另一段文字。当时的关键问题之一,是把更擅长处理图像等连续信号的扩散方法,用到离散自然语言上。
到 2025 年 4 月,团队核心成员参与推出 Dream 7B,将研究推进到 70 亿参数语言模型。按照当时公布的结果,Dream 7B 在通用、数学和代码任务上,取得了与同规模自回归模型可比的表现,也展示了规划能力和生成顺序上的灵活性。

这次发布的 Clover 则继续扩大模型规模,把写代码、调用工具和连续执行任务作为重点展示内容。这条路线也从最初研究如何生成文字,逐步转向如何把复杂任务做对、做快。
后续计划包括多模态与端侧适配
报道称,扩散智能目前还在向多模态和端侧延伸。按照介绍,Clover 后续将推出多模态版本,团队正在推进扩散语言模型与多模态理解及动作生成的结合,并持续开展端侧场景的适配与验证。
与 Acrab 的合作,则在推进面向端侧场景的系统适配和软硬件协同验证。按照团队计划,接下来还会继续探索更大规模的模型,提高长程任务的稳定性,并通过推理优化、量化和部署适配,推进端侧应用。
本文信息来自微信公众号「量子位」(ID:QbitAI),作者署名为「关注前沿科技」,由 MarsBit 发布。


