腾讯混元极限量化Hy4 preview:1.5TB压至214GB,异构推理提速6倍
腾讯混元对刚开源的Hy4 preview模型实施极限量化,原始1.5TB权重压缩至约214GB。通过分层量化策略,平均仅2.38 bpw,评测分数下降0.2-1.6分。同时与prima.cpp测试异构设备联合推理,RTX 4090笔记本加四卡A4000服务器以80GB显存+64GB内存跑出1.02 token/s,比单机快6倍。

腾讯混元对刚开源的Hy4 preview模型实施极限量化,原始1.5TB权重压缩至约214GB。通过分层量化策略,平均仅2.38 bpw,评测分数下降0.2-1.6分。同时与prima.cpp测试异构设备联合推理,RTX 4090笔记本加四卡A4000服务器以80GB显存+64GB内存跑出1.02 token/s,比单机快6倍。

Tether旗下QVAC发布医疗语言模型QVAC MedPsy,能在手机本地离线运行,解决隐私痛点。1.7B参数版本性能超越Google体积大16倍的MedGemma 27B,CEO Paolo Ardoino强调效率与本地化。

月之暗面本周发布开源权重模型 Kimi K3,总参数达 2.8 兆,完整权重预计于 7 月 27 日前上线。官方部署指引显示,自行部署至少需要 64 张加速器,原生 4 bit 权重约 1.4TB 至 1.5TB。仅按权重存放计算,H100 80GB 约需 19 张、H200 约 11 张、B200 约 8 张,若按官方门槛配置,硬件采购成本已超过 240 万美元。

Tether基于阿西莫夫《基地》中的心理史学概念,推出开源、跨平台的本地AI框架QVAC。该项目旨在将AI作为第二储备资产,并通过小参数模型MedPsy在医疗领域证明边缘部署的潜力,挑战中心化云AI。

Tether正将稳定币业务积累的资金与基础设施能力延伸至AI领域,推出本地优先、点对点架构的QVAC,并以医疗模型MedPsy验证小模型在边缘设备上的可行性。其成败关键在于独立复现与开发者采纳。

Tether正将稳定币业务积累的资金实力延伸至AI基础设施,推出主打本地运行、点对点推理和隐私保护的QVAC平台,并以医疗模型MedPsy验证其边缘AI路线。

Tether基于阿西莫夫《基地》系列中的心理史学概念,推出QVAC项目,旨在构建去中心化的本地AI基础设施。文章详细阐述了Tether如何利用稳定币储备(Q1 2026净利润10.4亿美元、储备缓冲82.3亿美元)支持AI发展,QVAC的架构特点:边缘优先、P2P推理、跨平台SDK。首个模型MedPsy在医疗基准测试中以小参数(1.7B/4B)超越Google的MedGemma-27B,展示了领域专用边缘模型的潜力。同时探讨了本地AI与云端AI在便利与控制之间的权衡,以及独立复制验证的重要性。
