Prime Intellect 推出 Prime Mega MoE,MoE 训练前向速度提升 3.11 倍

Prime Intellect 推出 Prime Mega MoE,MoE 训练前向速度提升 3.11 倍

N
News Editor
2026-10-29 19:24:58
AI 基础设施公司 Prime Intellect 发布可训练扩展 Prime Mega MoE,基于 DeepSeek 开源 Mega MoE 内核开发。在 DeepSeek 原本仅支持前向传播的基础上,该内核加入快速且重叠的后向传播,可用于训练。Prime Intellect 称,在 prime-rl 训练器中,Qwen3 MoE 模型完整训练步骤速度最高提升 34%,相较 TorchTitan 最高提升 55%,并支持 NVIDIA Hopper 与 Blackwell GPU。

AI 基础设施公司 Prime Intellect 发布了 Prime Mega MoE。这是一项基于 DeepSeek 开源 Mega MoE 内核的可训练扩展。

Prime Intellect 表示,DeepSeek 的原始内核此前仅支持前向传播,而 Prime Mega MoE 在此基础上加入了快速、重叠的后向传播,使其不再只用于推理,也可以直接用于训练。

训练速度数据

按照 Prime Intellect 披露的数据,在其 prime-rl 训练器中,Qwen3 MoE 模型的完整训练步骤速度最高提升 34%。与 TorchTitan 相比,提升幅度最高可达 55%。

标题信息显示,MoE 训练前向速度提升 3.11 倍。

支持的硬件与数据类型

该内核支持 NVIDIA Hopper 和 Blackwell GPU,并支持 BF16、MXFP8 以及块状 FP8 数据类型。

目标是减少通信瓶颈带来的空转

Prime Intellect 称,对于训练专家混合(MoE)模型的团队,这一方案可以直接减少所需的 GPU 小时数。Prime Mega MoE 被描述为一个融合、重叠的 MoE 训练内核,目标是解决 MoE 训练过程中因通信瓶颈导致的 GPU 闲置问题。

这则消息由 MarkTechPost 提及,Techub 进行了发布。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
6200

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。