Perplexity与NVIDIA推出JOLT后训练方法,训练算力需求降至GRPO的约六分之一

Perplexity与NVIDIA推出JOLT后训练方法,训练算力需求降至GRPO的约六分之一

N
News Editor
2026-10-22 06:50:24
Perplexity 与 NVIDIA 研究团队联合发布语言模型后训练方法 JOLT,让单一模型同时承担教师与学生角色,其中教师可获得特权信息、学生则不能。与 GRPO 相比,JOLT 在 MATH 基准上以相同准确率将训练 token 处理量减少 6.5 倍。加入学生自身结果奖励后的 JOLT+ 在各项测试中拿到最高平均分,并在 AppWorld 中取得 72.09% 通过率,高于 GRPO 的 62.20%。

Perplexity 与 NVIDIA 研究团队联合推出新的语言模型后训练方法 JOLT。该方法让单一模型同时扮演教师和学生两个角色,其中教师可以获得特权信息,学生则不能。

JOLT 的关键改进在于,教师模型本身也会被训练,以保证其反馈保持可用性。

在 MATH 测试中减少 6.5 倍训练 token 处理量

据 MarkTechPost 介绍,在 MATH 基准测试中,JOLT 在达到与 GRPO 相同准确率的情况下,处理的训练 token 数量减少了 6.5 倍。

JOLT+ 在多项测试中取得更高成绩

在 JOLT 的基础上,研究团队还提出了 JOLT+。这是一个加入学生自身结果奖励的版本。报道显示,JOLT+ 在所有测试设置中都取得了最高平均分。

在 AppWorld 测试中,JOLT+ 的通过率为 72.09%,GRPO 为 62.20%,前者高出 9.9 个百分点。

已在多个模型上完成验证

该方法已经在 Qwen3 和 DeepSeek-V2-Lite 等多个模型上得到验证。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
3700

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。