应用工具工具
vernLLM：面向 LLM 调用的容错、可观测与管控框架
LakBud/vernLLM · The LLM call framework. Resilience, observability, and control for AIs.
ELI5：它是什么，解决什么问题
vernLLM 是一个 TypeScript 的 LLM 调用框架，为每次模型调用提供统一接口与运行时治理能力。它通过适配器接入 OpenAI 兼容服务、Anthropic、Gemini、AWS Bedrock 以及任何可经 HTTP 访问的提供方，并在本进程内内置重试预算、熔断、多提供方回退、限流、缓存与中间件。仓库还包含 Redis 集成（熔断、限流、缓存）、OpenTelemetry 追踪与指标、Bedrock 适配器，以及日志、用量成本、路由、策略、输入输出检查等开发中的扩展包。
核心能力与快速开始
★ 4 · TypeScript
- 能做什么
- 以单一接口调用多种 LLM 提供方（OpenAI 兼容、Anthropic、Gemini、AWS Bedrock、Ollama、Groq、Mistral、DeepSeek 等，或经 fromFetch 适配的任意 HTTP 提供方）；内置重试预算、熔断、多提供方回退、速率与并发限制、缓存与中间件；提供 Redis 后端集成、OpenTelemetry 追踪与指标、Bedrock Converse 适配器；日志、用量成本、路由、策略、内容检查等扩展处于开发中。
- 适用场景
- 在 TypeScript 应用中统一接入多家模型提供方；为 LLM 调用增加重试、熔断、限流与降级回退；通过 OpenTelemetry 观测调用链路与指标；在自建进程内对模型调用做缓存与策略管控。
- 项目形态
- 开发框架
- 部署方式
- 作为 npm 包安装在调用方进程中运行，不需要新增网络跳转；Redis 集成等可选包按需引入。
- 主要依赖
- Node.js/TypeScript 环境；使用 Redis 集成需 Redis；使用 Bedrock 适配器需 AWS SDK 与相应云环境；调用各提供方需相应 API 密钥。
- 使用限制
- 日志、用量成本、路由、策略、内容检查等扩展包仍在开发中；具体模型名称与提供方能力以实际服务为准；文档未说明各提供方的 API 成本与配额限制。
- 许可证
- MIT
- 最近推送
- 2026-10-26 05:36
资料检查：2026-10-26 07:00 · 卡片整理：2026-10-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
在 TypeScript 应用中统一接入多个 LLM 提供方（OpenAI 兼容服务、Anthropic、Gemini、AWS Bedrock 等），并为每次模型调用配置重试预算、熔断、多提供方回退、限流、缓存与中间件，用于构建具备容错与可观测性的 AI 调用代码。
查看内容依据
One interface across OpenAI-compatible, Anthropic, Gemini, and Bedrock, with retry budgets, circuit breaking, multi provider fallback, rate limiting, caching, and middleware built in, all running in your own process rather than a new network hop.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。