岩山科技联合港科大与 CMU 开源 EdgeRock-4B，KV Cache 降低 99.1%

Techub News 消息，岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学等高校发布并开源 EdgeRock-4B 模型。

该模型采用新型记忆机制，在 256K 上下文长度下，KV Cache 占用固定为 72 MiB，较源模型减少 99.1%。

在单张 80GB GPU 上，EdgeRock-4B 可同时处理 512 路长推理，输出吞吐达到 12124 tokens/s，为源模型的 6.42 倍，推理能力基本保留。

目前，模型权重与代码已在 GitHub 和 Hugging Face 开源。