腾讯混元
2026-09-01 04:22:52腾讯混元极限量化Hy4 preview:1.5TB压至214GB,异构推理提速6倍
腾讯混元对刚开源的Hy4 preview模型实施极限量化,原始1.5TB权重压缩至约214GB。通过分层量化策略,平均仅2.38 bpw,评测分数下降0.2-1.6分。同时与prima.cpp测试异构设备联合推理,RTX 4090笔记本加四卡A4000服务器以80GB显存+64GB内存跑出1.02 token/s,比单机快6倍。
140

腾讯混元对刚开源的Hy4 preview模型实施极限量化,原始1.5TB权重压缩至约214GB。通过分层量化策略,平均仅2.38 bpw,评测分数下降0.2-1.6分。同时与prima.cpp测试异构设备联合推理,RTX 4090笔记本加四卡A4000服务器以80GB显存+64GB内存跑出1.02 token/s,比单机快6倍。
