Techub News 消息,Zyphra 发布 Zyphra Hierarchical Attention(ZHA)。这是一种基于树状索引器的稀疏注意力方法,目标是解决现有稀疏注意力方案中,索引器仍需扫描全部上下文的问题。
ZHA 支持将该方法蒸馏到已预训练的冻结模型中,训练使用约 40 亿 token。在 Qwen3.6-35B-A3B 模型上,ZHA 在推理、代理编码和 256K 检索基准测试中的表现接近密集注意力。
ZHA 的实现方式
按照 Zyphra 的介绍,ZHA 会将键划分为连续块,并逐层压缩为摘要键。解码阶段则通过 top-p 路由,自适应选取相关 token。
基准测试结果
在多项基准测试中,ZHA 的深度树结构在 LongBench v2 上达到 63.4% 的准确率,高于密集注意力的 58.0%,同时仅使用约 1.1% 的键。
该消息援引 MarkTechPost 报道。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.


