蚂蚁百灵医疗模型Sante发布:51亿激活参数,诊断能力超越GPT-5.6 Sol
蚂蚁百灵推出医疗健康模型Ling-3.0-flash-Sante,基于MoE架构,总参数1240亿,仅激活51亿参数。在诊断测试DiagnosisArena-MCQ中得分83.8,超过GPT-5.6 Sol的81.9。医学推理、药物安全等能力突出,已接入OpenRouter和Vercel免费使用。
蚂蚁百灵推出医疗健康模型Ling-3.0-flash-Sante,基于MoE架构,总参数1240亿,仅激活51亿参数。在诊断测试DiagnosisArena-MCQ中得分83.8,超过GPT-5.6 Sol的81.9。医学推理、药物安全等能力突出,已接入OpenRouter和Vercel免费使用。
阿联酋 MBZUAI 旗下基础模型研究院 IFM 发布 K2 Horizon,并一次性开源 6 个模型,参数规模覆盖 0.9B 至 375B-A23B。其中国 0.9B 面向手表、眼镜等端侧设备,7B 可在手机运行。IFM 表示将公开最终权重、训练代码、数据或数据构建配方、中间 checkpoint、训练日志和评测记录,模型与代码采用 Apache 2.0 许可证。
9月2日,B.AI宣布腾讯混元Hy4 Preview正式上线API服务,全量开放给开发者。该模型采用770B稀疏MoE架构,每Token激活49B参数,支持1M上下文,覆盖软件工程Agent、办公数据工作流、游戏开发与科学研究等场景。即日起可通过B.AI API调用,亦可登录chat.b.ai/chat体验。B.AI称将继续引入前沿模型。
腾讯混元对刚开源的Hy4 preview模型实施极限量化,原始1.5TB权重压缩至约214GB。通过分层量化策略,平均仅2.38 bpw,评测分数下降0.2-1.6分。同时与prima.cpp测试异构设备联合推理,RTX 4090笔记本加四卡A4000服务器以80GB显存+64GB内存跑出1.02 token/s,比单机快6倍。
腾讯混元 Hy4 preview 将底层架构从 Hy3 的全注意力改为 Gated DSA(DeepSeek 稀疏注意力的门控版),并叠加智谱 IndexCache,减少超长文本下的重复计算。腾讯称设计受 DeepSeek 和 GLM 启发。残差结构用 iHC 扩成 4 条信息主干,MoE 专家从 192 个增至 256 个路由专家+1 个共享专家,每 Token 选 8 个路由专家。
英伟达宣布 Groq 3 LPX 推理芯片已进入全面生产阶段,并称其在 Gemma 4 31B 模型上的推理速度达到每秒 3400 token。按英伟达说法,这一速度比 Cerebras 快 4 倍。不过报道同时提到,这一对比并不简单:英伟达至少需要 64 个加速器才能达到该速度,而 Cerebras 仅需 1 至 2 个。该架构在大型 MoE 模型上的扩展能力仍有待观察。
智谱 AI 创始人、清华大学教授唐杰表示,单独讨论大模型参数量已越来越难判断模型能力。回顾从 GPT-3、Chinchilla 到 MoE 的 Scaling Law 演变后,他提出模型能力还取决于训练数据、训练与推理阶段的算力分配,以及后训练与单次推理的有效深度。智谱最新的 GLM-5.3 被他视为一次控制实验:在不增加参数的前提下,集中扩展长程任务训练与强化学习。
开发者开源 kimi-k3-in-c,让 2.78 万亿参数的 Kimi K3 在 8GB 内存设备上仅靠 CPU 完成推理。项目仅 176KB,纯 C99 编写,不依赖 GPU 与 CUDA,利用 MoE 每层仅激活 16 个专家的特性,将大部分权重放在 NVMe 硬盘按需读取。当前生成一个 token 约需 32.7 秒,开发者称仅为实验探索,暂无生产价值。