NVIDIA披露三项Ling推理优化，DGX Spark吞吐提升42.5%

Techub News 消息，NVIDIA 在技术博客中展示了在 DGX Spark 上加速 MoE 推理的三项优化，测试模型为 Ling-3.0-flash。

资料显示，Ling-3.0-flash 是蚂蚁集团旗下 inclusionAI 的 124B 参数 MoE 模型，每 token 激活 5.1B 参数。NVIDIA 提到的三项优化分别是 Humming MoE kernel、FP8 LM head 和 MTP 投机解码。

按 MarkTechPost 披露的数据，在 GSM8K 的 1319 题测试中，解码吞吐从 37.81 tokens/s 提升至 53.89 tokens/s，增幅为 42.5%；平均延迟下降 24.5%。准确率基本持平，分别为 96.89% 和 96.82%。