斯坦福大学与 Together AI 的研究者提出了一种新的文本生成方法 Next-Concept Modeling（NCM，下一概念建模），试图在主流自回归和扩散路线之外，给大模型文本生成再开一条路径。按照论文设定，模型不再按 token 一个一个往后写，也不是靠整段文本反复去噪，而是先并行生成几句话级别的「概念大纲」，再逐层并行补充细节，直到恢复成完整文本。
相关论文题为《Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation》，已发布在 arXiv，代码也已开源。
NCM 把图像中的「下一尺度预测」搬到文本生成
研究者将 NeurIPS 2024 最佳论文 VAR 在图像上的「下一尺度预测」思路引入文本生成。该思路的核心是，图像可以先生成低分辨率版本，再不断增加细节；而 NCM 则尝试让文本也具备类似的层级结构，先得到较粗的概括表示，再往下细化。
当前主流大语言模型大多属于自回归模型，包括 GPT、Claude、DeepSeek 等。这类模型通常根据已有内容预测下一个 token，后续输出依赖前文。扩散语言模型则可以同时处理多个位置，通过多轮去噪逐步生成文本，但并行生成不等于一步完成；如果减少迭代次数，质量可能下降，而每一轮都处理整段序列也会带来额外开销。
NCM 改动的不只是生成顺序，也包括每一步究竟生成什么。研究者的问题是：如果图像能先有一个低分辨率版本，文本是否也能先形成一种可继续细化的「缩略图」？
不过，文本和图像并不一样。图片缩小后往往还能辨认主体，但一句话删掉几个字，语义就可能发生明显变化。研究者因此没有直接套用图像方案，而是让模型去学习一种既能概括文本、又适合后续展开的表示形式。
训练分成两个阶段
为实现这一点，NCM 采用了两个训练阶段。
第一步是训练一个多尺度残差 VQ-VAE。它可以被理解为一套文本编码和还原系统：原始文本会被转换成多层离散编码，前层编码数量更少，后层编码数量更多，每一层都继续补充前面尚未表达的信息。
为了避免粗层编码承载的信息过少，研究者在训练中会随机截去后面的细层，仅保留前面的部分，并要求系统尽量还原原文。这样一来，模型就必须让前几层也包含足够有用的信息，而不是把内容都推迟到后面再表达。
第二步是在冻结这套系统后，训练 Transformer 根据此前各层累计的表示预测下一层编码。到了生成阶段，模型按层推进，每一层内的编码并行预测，最后再由解码器恢复成文本。
论文给出的示例：先粗后细，逐步形成完整译文
论文展示了一个德译英的例子。按照研究者给出的中间层解码结果，NCM 在早期层输出中还会出现重复和不完整表达，但随着层数推进，内容会逐渐清晰，到第十一步形成通顺译文。
这种生成方式并不是直接顺着 token 往后写，而是先形成一个较粗的全局结构，再逐步补齐细节。
实验结果：相对扩散基线快 10 至 31 倍
NCM 的一个突出特点是速度。研究者认为，速度提升主要来自两个方面：一是需要串行执行的生成轮数减少，二是早期层只处理更短的编码序列，单轮平均开销也有下降空间。
作者在单块 H100 SXM 80GB 上进行了测试。结果显示，在 LM1B 无条件生成任务中，NCM 相对强扩散基线速度快约 21 倍，生成困惑度也更好；在 OpenWebText 上，质量具备竞争力，速度约为 10 倍；在 XSum 摘要任务中，在 ROUGE-L 相当的情况下，速度约为 31 倍。
训练成本方面，论文称两个数据集分别少使用 4.9 倍和 4 倍的 token。作为对比，对照对象 DUO、MDLM 在 OpenWebText 上要训练 100 万步，处理超过 5000 亿个 token。
在数独推理任务中采样步骤更少，完整解出率更高
除了生成任务，论文还测试了 NCM 在数独这类推理任务中的表现。结果显示，在更少采样步骤下，NCM 的表现优于自回归和扩散基线。
在只有 30 条线索的困难数独题上，NCM 的完整解出率为 86.1%，高于 FMLM+ 的 81.3%；生成器调用次数分别为 12 次和 16 次。
按照论文的解释，逐层细化整个棋盘的方式，可能更适合协调全局约束。
相同时间内可生成更多候选，作者还测试了最小贝叶斯风险解码
研究团队还提到，速度提升不一定只用于更快出结果，也可以用于在相同时间内生成更多候选结果，再从中进行筛选。
为此，团队尝试了最小贝叶斯风险解码，利用候选之间的相似性进行选择。论文称，这种做法进一步改善了翻译和摘要任务的指标。
仍有待回答的问题：更大规模和长文本表现尚未验证
论文也提到，NCM 距离通用大模型还有不少问题没有回答。主体实验中使用的生成器规模约为 1 亿参数，扩展实验做到 7.25 亿参数。模型在继续放大后能否保留现有优势，以及在精确文本生成和长篇内容生成中的表现如何，仍需要后续验证。
从方法上看，NCM 假设文本生成可以写成一种「概念—细节」的层级过程，让模型先形成整体，再补足局部内容。论文是否会改变未来文本生成路线，还要看后续更大规模实验结果。
论文链接：https://arxiv.org/abs/2610.14162
GitHub：https://github.com/HazyResearch/ncm
参考内容包括 Stanford Hazy Research 与 Scaling Intelligence 的博客文章。原文注明，本文来自微信公众号「机器之心」，编辑为泽南。