日本开发者 Kamimoto 已把 Jev 接入 MiniMax H3 的视频生成流程。按介绍,Jev 会根据每一层的运行状态,在 1%、3%、5%、10% 四档中选择 Attention 的保留比例,再由 Sparse Attention 决定哪些计算可以省掉。
测试结果
在 RTX 4070 12GB 上,生成一段约 5 秒的视频时,原版 4-step 方案耗时 6 分 07 秒;加入 Sparse Attention 和 Jev 动态控制后,耗时降到 3 分 34 秒,总时长缩短 41.7%。
提速来源与当前限制
不过,这一 41.7% 的降幅并不能全部算在 Jev 头上。Sparse Attention 本身就可以通过减少部分 Attention 计算来提速,固定保留 5% 或 10% 也会更快。Jev 的作用是动态调节,让重要层多算一些,不重要层少算一些。
目前还不能证明这种动态调节一定比固定比例带来更好的画质。作者也明确表示,质量还没有经过充分验证。实验代码已经开源。
本文最初由 Bit.Fan 发布。 欲了解更多加密货币新闻与市场洞察,请访问 www.bit.fan.

