GGUF

腾讯混元
2026-09-01 04:22:52

腾讯混元极限量化Hy4 preview:1.5TB压至214GB,异构推理提速6倍

腾讯混元对刚开源的Hy4 preview模型实施极限量化,原始1.5TB权重压缩至约214GB。通过分层量化策略,平均仅2.38 bpw,评测分数下降0.2-1.6分。同时与prima.cpp测试异构设备联合推理,RTX 4090笔记本加四卡A4000服务器以80GB显存+64GB内存跑出1.02 token/s,比单机快6倍。

140
腾讯混元极限量化Hy4 preview:1.5TB压至214GB,异构推理提速6倍
Kimi K3
2026-07-19 04:56:59

Kimi K3 本地部署门槛升至 64 张 GPU,功耗约 45kW

月之暗面本周发布开源权重模型 Kimi K3,总参数达 2.8 兆,完整权重预计于 7 月 27 日前上线。官方部署指引显示,自行部署至少需要 64 张加速器,原生 4 bit 权重约 1.4TB 至 1.5TB。仅按权重存放计算,H100 80GB 约需 19 张、H200 约 11 张、B200 约 8 张,若按官方门槛配置,硬件采购成本已超过 240 万美元。

2900
Kimi K3 本地部署门槛升至 64 张 GPU,功耗约 45kW
Tether
2026-06-29 12:30:11

Tether启动QVAC项目:用阿西莫夫心理史学构建去中心化本地AI,储备资产从美元转向智能

Tether基于阿西莫夫《基地》系列中的心理史学概念,推出QVAC项目,旨在构建去中心化的本地AI基础设施。文章详细阐述了Tether如何利用稳定币储备(Q1 2026净利润10.4亿美元、储备缓冲82.3亿美元)支持AI发展,QVAC的架构特点:边缘优先、P2P推理、跨平台SDK。首个模型MedPsy在医疗基准测试中以小参数(1.7B/4B)超越Google的MedGemma-27B,展示了领域专用边缘模型的潜力。同时探讨了本地AI与云端AI在便利与控制之间的权衡,以及独立复制验证的重要性。

400
Tether启动QVAC项目:用阿西莫夫心理史学构建去中心化本地AI,储备资产从美元转向智能