Perplexity 与 NVIDIA 研究团队联合推出新的语言模型后训练方法 JOLT。该方法让单一模型同时扮演教师和学生两个角色,其中教师可以获得特权信息,学生则不能。
JOLT 的关键改进在于,教师模型本身也会被训练,以保证其反馈保持可用性。
在 MATH 测试中减少 6.5 倍训练 token 处理量
据 MarkTechPost 介绍,在 MATH 基准测试中,JOLT 在达到与 GRPO 相同准确率的情况下,处理的训练 token 数量减少了 6.5 倍。
JOLT+ 在多项测试中取得更高成绩
在 JOLT 的基础上,研究团队还提出了 JOLT+。这是一个加入学生自身结果奖励的版本。报道显示,JOLT+ 在所有测试设置中都取得了最高平均分。
在 AppWorld 测试中,JOLT+ 的通过率为 72.09%,GRPO 为 62.20%,前者高出 9.9 个百分点。
已在多个模型上完成验证
该方法已经在 Qwen3 和 DeepSeek-V2-Lite 等多个模型上得到验证。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.


