返回稀疏激活

稀疏激活

Kimi K3
2026-08-08 06:24:42

2.78 万亿参数 Kimi K3 压进 8GB 内存:开发者开源纯 CPU 推理方案

开发者开源 kimi-k3-in-c,让 2.78 万亿参数的 Kimi K3 在 8GB 内存设备上仅靠 CPU 完成推理。项目仅 176KB,纯 C99 编写,不依赖 GPU 与 CUDA,利用 MoE 每层仅激活 16 个专家的特性,将大部分权重放在 NVMe 硬盘按需读取。当前生成一个 token 约需 32.7 秒,开发者称仅为实验探索,暂无生产价值。

1520
2.78 万亿参数 Kimi K3 压进 8GB 内存:开发者开源纯 CPU 推理方案
Multiverse Co
2026-06-27 16:40:57

Multiverse Computing 推出 Pulsar 16B 开源推理模型:161亿参数仅激活31亿,Blackwell GPU吞吐量达4808 tokens/s

Multiverse Computing 发布了基于 Nvidia Nemotron 架构的 Pulsar 16B 推理模型,拥有 161.5 亿参数但仅激活约 31 亿参数,采用 CompactifAI 压缩技术,在 Blackwell GPU 上每秒可处理 4808 个 token。模型以 Apache 2.0 开源许可发布,支持商业用途。公司成立于 2019 年,去年完成 2.15 亿美元 B 轮融资,曾与加拿大央行合作将量子计算应用于金融模拟。该模型有望推动 AI 推理在加密和金融领域的低成本部署。

290
Multiverse Computing 推出 Pulsar 16B 开源推理模型:161亿参数仅激活31亿,Blackwell GPU吞吐量达4808 tokens/s