AMD发布全开源Instella-MoE,16B参数瞄准同规模开源模型前列
AMD于7月25日发布全开源混合专家模型Instella-MoE,总参数量160亿、每个Token激活28亿参数。AMD称,该模型完全基于MI300X、MI325X GPU及ROCm软件栈从零训练,并引入Gated MLA与FarSkip-Collective等架构设计。测试数据显示,Instella-MoE-16B-A3B基础模型平均得分为76.7,在全开源模型中处于领先位置,同时支持64K Token长上下文及完整训练流程开放。








