岩山科技联合港科大与 CMU 开源 EdgeRock-4B，KV Cache 降低 99.1%

岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学等高校发布并开源 EdgeRock-4B 模型。该模型采用新型记忆机制，在 256K 上下文长度下，KV Cache 占用固定为 72 MiB，较源模型减少 99.1%。在单张 80GB GPU 上，模型可同时处理 512 路长推理，输出吞吐达到 12124 tokens/s，为源模型的 6.42 倍，推理能力基本保留。模型权重和代码已在 GitHub 与 Hugging Face 开源。