微软完成 MAI-Base-2 预训练:2.8 万亿参数,称算力仅为 GPT-5.6 基座四分之一

微软完成 MAI-Base-2 预训练:2.8 万亿参数,称算力仅为 GPT-5.6 基座四分之一

N
News Editor
2026-10-16 09:39:44
微软宣布完成自研模型 MAI-Base-2 的预训练,模型总参数达 2.8 万亿,采用 MoE 混合专家架构,每次激活 800 亿参数。微软称,该模型在代码、问答、数学和理工文本预测指标上超过 DeepSeek-V4-Pro-Base、Kimi K3 和 Qwen3.8。公司还表示,MAI-Base-2 的预训练基座已强于支撑 GPT-5.6 Sol 的 OpenAI 模型,而训练算力仅为后者的 1/4。

微软宣布完成新一代自研模型 MAI-Base-2 的预训练。该模型总参数为 2.8 万亿,采用 MoE 混合专家架构,每次仅激活 800 亿参数。

按照微软披露的信息,今年 8 月至 9 月,公司动用 1.6 万张 NVIDIA GB200 GPU,训练持续 38 天,累计处理约 50 万亿 Token。MAI-Base-2 还首次引入原生视觉预训练,视觉数据占训练量的 18%。

内部测试与算力对比说法

微软公布的内部测试显示,MAI-Base-2 在代码、问答、数学和理工学科的文本预测指标上,超过 DeepSeek-V4-Pro-Base、Kimi K3、Qwen3.8 等模型。

微软同时表示,如果目标只是训练出与 DeepSeek-V4-Pro-Base 同等水平的模型,其方法只需约 1/4 至 1/12 的算力。不过,微软继续投入更多算力,将模型做得更大、更强,因此 MAI-Base-2 实际消耗的训练算力仍高于 DeepSeek。

微软 AI 负责人 Mustafa Suleyman 在 10 月 15 日的内部会议上称,MAI-Base-2 的预训练基座已经强于支撑 GPT-5.6 Sol 的 OpenAI 模型,而训练算力仅为后者的四分之一。

训练方法与后续计划

微软称,公司改进了 MoE 专家调度、Muon 优化器和数据筛选方法,以减少显存浪费,并提高大规模训练的稳定性。

微软还强调,所有训练数据均由公司自行处理,没有通过蒸馏其他公司的模型获取能力。

目前,MAI-Base-2 仍处于后训练阶段。微软计划先将其用于自家产品,之后再通过 Foundry 向企业合作伙伴授权模型权重。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
100

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。