清华与港中文开源 AKV，LLM 智能体推理成本降 27.7%

Techub News 消息，清华大学与香港中文大学的研究人员开源了 AKV。这是一套面向大语言模型智能体 KV 缓存工程的推理服务系统。

AKV 允许智能体丢弃并重新定位其 KV 缓存条目，而不是总结旧历史。研究论文显示，在 3 个模型和 4 个智能体基准测试中，该系统将平均成本降低 27.7%，同时把平均任务得分提高 1.7 分。

代码基于 Apache-2.0 许可证发布，构建在 SGLang 之上，并在 NVIDIA GPU 上运行。论文实验使用了 8 块 A800-80GB GPU。

在具体测试结果中，AKV 在 GPT-OSS-120B 模型上的 SWE-bench Verified 基准测试里表现最佳，单任务成本从 20.0 美分降至 9.7 美分。

上述消息由 MarkTechPost 报道。