Zyphra 发布 ZHA 分层注意力机制,称实现真正次二次方注意力
Zyphra 发布 Zyphra Hierarchical Attention(ZHA),这是一种基于树状索引器的稀疏注意力方法,目标是解决现有稀疏注意力中索引器仍需扫描全部上下文的问题。该方法可蒸馏到已预训练的冻结模型中,训练使用约 40 亿 token。在 Qwen3.6-35B-A3B 上,ZHA 在推理、代理编码和 256K 检索基准中的表现接近密集注意力,并在 LongBench v2 上以 63.4% 准确率高于密集注意力的 58.0%,同时仅使用约 1.1% 的键。








