EAGLE-4发布:Qwen推理提速 3.6 倍,手机 CPU 生成也加快

EAGLE-4发布:Qwen推理提速 3.6 倍,手机 CPU 生成也加快

N
News Editor
2026-10-21 11:04:18
大模型推理加速公司 Eagle 发布 EAGLE-4,更新其推测解码方案。新版通过降低草稿模型计算开销,并按硬件性能和并发数调整预测规模,减少额外计算带来的拖慢。在 4 张 NVIDIA B300 GPU 上,Qwen3.8-27B 单请求生成速度从 240.5 Token/秒升至 863.8 Token/秒;在 512 并发请求下,总吞吐量从 2.12 万升至 2.83 万 Token/秒。手机端方面,摩托罗拉 Razr 70 Ultra 上的 Gemma-4-E2B-it 仅用 CPU 即实现 3.2 倍长文本生成提速。

大模型推理加速公司 Eagle 发布 EAGLE-4,升级了其推测解码方案。新版的重点是降低草稿模型的计算开销,同时根据硬件性能和并发数量调整预测规模,避免额外的预测计算反而拖慢速度。

GPU 场景下的速度与吞吐量提升

在 4 张 NVIDIA B300 GPU 上,Qwen3.8-27B 的单请求生成速度从每秒 240.5 Token 提高到每秒 863.8 Token,达到普通推理的 3.6 倍。

在 512 个请求同时运行时,总吞吐量从每秒 2.12 万 Token 提高到每秒 2.83 万 Token,提升 34%。

手机 CPU 端也有提升

手机端同样出现明显提速。在摩托罗拉 Razr 70 Ultra 上,Gemma-4-E2B-it 仅靠 CPU 就实现了 3.2 倍的长文本生成速度提升,同一任务耗时从 43 秒缩短至 14 秒,每个 Token 的能耗降低 53%。

代码已公开,许可证改为限制性商业许可

EAGLE-4 已公开代码,支持接入 SGLang、vLLM 和实验性 TokenSpeed。

不过,与采用 Apache 2.0 开源许可证的前三代不同,EAGLE-4 改用了限制性商业许可证。连续 12 个月综合营收超过 2000 万美元的企业,以及提供竞争性推理服务的公司,如需商业使用,需要另行授权。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
9600

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。