腾讯混元对刚开源的Hy4 preview模型实施极限量化，原始1.5TB权重压缩至约214GB。通过分层量化策略，平均仅2.38 bpw，评测分数下降0.2-1.6分。同时与prima.cpp测试异构设备联合推理，RTX 4090笔记本加四卡A4000服务器以80GB显存+64GB内存跑出1.02 token/s，比单机快6倍。

月之暗面本周发布开源权重模型 Kimi K3，总参数达 2.8 兆，完整权重预计于 7 月 27 日前上线。官方部署指引显示，自行部署至少需要 64 张加速器，原生 4 bit 权重约 1.4TB 至 1.5TB。仅按权重存放计算，H100 80GB 约需 19 张、H200 约 11 张、B200 约 8 张，若按官方门槛配置，硬件采购成本已超过 240 万美元。