返回语义缓存

语义缓存

Redis
2026-09-10 22:41:19

Redis发布语义缓存服务LangCache,称可将LLM API成本降至多省90%

Redis推出托管语义缓存服务LangCache,并已在Redis Cloud开放公开预览。该服务通过语义匹配识别相似提示,命中缓存时可跳过LLM调用,以降低API成本并提升响应速度。官方称,LangCache最高可节省90%的API成本,缓存命中时响应速度最高提升15倍。服务支持REST API、Python和JavaScript SDK,Mangoes.ai称其患者护理应用已实现70%的缓存命中率。

20
Redis发布语义缓存服务LangCache,称可将LLM API成本降至多省90%