大模型推理加速公司 Eagle 发布 EAGLE-4,升级了其推测解码方案。新版的重点是降低草稿模型的计算开销,同时根据硬件性能和并发数量调整预测规模,避免额外的预测计算反而拖慢速度。
GPU 场景下的速度与吞吐量提升
在 4 张 NVIDIA B300 GPU 上,Qwen3.8-27B 的单请求生成速度从每秒 240.5 Token 提高到每秒 863.8 Token,达到普通推理的 3.6 倍。
在 512 个请求同时运行时,总吞吐量从每秒 2.12 万 Token 提高到每秒 2.83 万 Token,提升 34%。
手机 CPU 端也有提升
手机端同样出现明显提速。在摩托罗拉 Razr 70 Ultra 上,Gemma-4-E2B-it 仅靠 CPU 就实现了 3.2 倍的长文本生成速度提升,同一任务耗时从 43 秒缩短至 14 秒,每个 Token 的能耗降低 53%。
代码已公开,许可证改为限制性商业许可
EAGLE-4 已公开代码,支持接入 SGLang、vLLM 和实验性 TokenSpeed。
不过,与采用 Apache 2.0 开源许可证的前三代不同,EAGLE-4 改用了限制性商业许可证。连续 12 个月综合营收超过 2000 万美元的企业,以及提供竞争性推理服务的公司,如需商业使用,需要另行授权。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.


