北邮团队提出 MiTA:从快权重视角重构高效注意力设计
北京邮电大学团队提出 Mixture-of-Top-k Attention(MiTA),将注意力重新表述为由输入生成快权重的 FFN,并据此建立高效注意力的五维分类框架。论文已被 NeurIPS 2026 接收,代码已开源。文中称,MiTA 通过地标查询同时构造可复用的 Top-k 路由专家与共享全局专家,在 ImageNet-1K、ADE20K、LRA 和 arXiv 长文档分类等任务中给出接近完整注意力或更高的效果,并显著降低 FLOPs 或训练时间。






