缓存

vernLLM：面向 LLM 调用的容错、可观测与管控框架

LakBud/vernLLM · The LLM call framework. Resilience, observability, and control for AIs.

vernLLM 是一个 TypeScript 的 LLM 调用框架，为每次模型调用提供统一接口与运行时治理能力。它通过适配器接入 OpenAI 兼容服务、Anthropic、Gemini、AWS Bedrock 以及任何可经 HTTP 访问的提供方，并在本进程内内置重试预算、熔断、多提供方回退、限流、缓存与中间件。仓库还包含 Redis 集成（熔断、限流、缓存）、OpenTelemetry 追踪与指标、Bedrock 适配器，以及日志、用量成本、路由、策略、输入输出检查等开发中的扩展包。

旧缓存技巧如何降低 LLM 成本

文章介绍通过精确匹配、语义匹配与混合缓存三层策略，在调用 LLM 前复用已有答案，从而减少重复请求和 token 费用，并强调需对输入、上下文、模型设置与数据版本进行指纹校验。