AI 基础设施公司 Prime Intellect 发布了 Prime Mega MoE。这是一项基于 DeepSeek 开源 Mega MoE 内核的可训练扩展。
Prime Intellect 表示,DeepSeek 的原始内核此前仅支持前向传播,而 Prime Mega MoE 在此基础上加入了快速、重叠的后向传播,使其不再只用于推理,也可以直接用于训练。
训练速度数据
按照 Prime Intellect 披露的数据,在其 prime-rl 训练器中,Qwen3 MoE 模型的完整训练步骤速度最高提升 34%。与 TorchTitan 相比,提升幅度最高可达 55%。
标题信息显示,MoE 训练前向速度提升 3.11 倍。
支持的硬件与数据类型
该内核支持 NVIDIA Hopper 和 Blackwell GPU,并支持 BF16、MXFP8 以及块状 FP8 数据类型。
目标是减少通信瓶颈带来的空转
Prime Intellect 称,对于训练专家混合(MoE)模型的团队,这一方案可以直接减少所需的 GPU 小时数。Prime Mega MoE 被描述为一个融合、重叠的 MoE 训练内核,目标是解决 MoE 训练过程中因通信瓶颈导致的 GPU 闲置问题。
这则消息由 MarkTechPost 提及,Techub 进行了发布。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.


