Fireworks AI发布了推理优化模型 Ember-1。该模型基于 Moonshot AI 的开源权重 Kimi K3 进行后训练优化,目标是在保持任务准确性的同时,生成更短的推理轨迹。
Fireworks 团队表示,与原版 Kimi K3 相比,Ember-1 可减少约 40% 的 Token 使用量。公司称,推出这一模型,是为了在保留 K3 编码能力的同时压低客户成本。
目前仅提供研究预览版
Ember-1 现阶段只能通过 Fireworks 的无服务器 API 部署,定位为研究预览版。其权重、训练代码和具体算法均未公开,暂不支持自托管。
内部测试与生产环境 A/B 测试结果
Fireworks 披露,内部测试显示,在多轮代理工作负载中,K3 生成的 Token 有超过 90% 用于内部推理,相关成本显著。
在生产环境的 A/B 测试中,两家客户的编程工作负载显示,在质量相当的情况下,Ember-1 将每任务 Token 数减少约 35%。其中一次测试中,输出 Token 从每任务 4.93 万降至 2.99 万,推理 Token 下降 71.3%,总 Token 下降 39%,任务得分基本持平。
上述消息由 MarkTechPost 报道,Techub 进行了汇总发布。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.

