Redis
2026-09-10 22:41:19Redis发布语义缓存服务LangCache,称可将LLM API成本降至多省90%
Redis推出托管语义缓存服务LangCache,并已在Redis Cloud开放公开预览。该服务通过语义匹配识别相似提示,命中缓存时可跳过LLM调用,以降低API成本并提升响应速度。官方称,LangCache最高可节省90%的API成本,缓存命中时响应速度最高提升15倍。服务支持REST API、Python和JavaScript SDK,Mangoes.ai称其患者护理应用已实现70%的缓存命中率。
20

