Zyphra 发布 ZHA 分层注意力机制,称实现真正次二次方注意力

Zyphra 发布 ZHA 分层注意力机制,称实现真正次二次方注意力

N
News Editor
2026-11-03 03:04:53
Zyphra 发布 Zyphra Hierarchical Attention(ZHA),这是一种基于树状索引器的稀疏注意力方法,目标是解决现有稀疏注意力中索引器仍需扫描全部上下文的问题。该方法可蒸馏到已预训练的冻结模型中,训练使用约 40 亿 token。在 Qwen3.6-35B-A3B 上,ZHA 在推理、代理编码和 256K 检索基准中的表现接近密集注意力,并在 LongBench v2 上以 63.4% 准确率高于密集注意力的 58.0%,同时仅使用约 1.1% 的键。

Techub News 消息,Zyphra 发布 Zyphra Hierarchical Attention(ZHA)。这是一种基于树状索引器的稀疏注意力方法,目标是解决现有稀疏注意力方案中,索引器仍需扫描全部上下文的问题。

ZHA 支持将该方法蒸馏到已预训练的冻结模型中,训练使用约 40 亿 token。在 Qwen3.6-35B-A3B 模型上,ZHA 在推理、代理编码和 256K 检索基准测试中的表现接近密集注意力。

ZHA 的实现方式

按照 Zyphra 的介绍,ZHA 会将键划分为连续块,并逐层压缩为摘要键。解码阶段则通过 top-p 路由,自适应选取相关 token。

基准测试结果

在多项基准测试中,ZHA 的深度树结构在 LongBench v2 上达到 63.4% 的准确率,高于密集注意力的 58.0%,同时仅使用约 1.1% 的键。

该消息援引 MarkTechPost 报道。

本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.
4900

免责声明:

本平台展示的市场信息、项目资料与第三方内容仅用于行业信息分享,不构成任何形式的投资建议或收益承诺。

加密资产交易具有较高风险,用户应充分评估自身风险承受能力并独立作出决策,相关盈亏及法律责任由用户自行承担。

Zyphra 发布 ZHA 分层注意力机制,称实现真正次二次方注意力 | Bit.Fan