AI Gateway

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter-ai/rolter · (WIP) High-performance OpenAI/Anthropic-compatible AI gateway + load balancer in Rust (LiteLLM-proxy alternative)

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

Cloudflare Auto Router 按风险为每个请求评分，评分依据最近的对话轮次

Cloudflare 通过 AI Gateway 公开发布了 Auto Router 的测试版。它会在每次请求时自动挑一个模型来回答：一个分类器先给请求打四个分——复杂不复杂、意思含糊不含糊、做错了代价大不大（原文叫“stakes”，也就是风险高低）、有多依赖前文上下文。Cloudflare 自己做的测试显示，它比 Claude Opus 5.5 的成功率低约十个百分点，但成本只有后者的三分之一。有从业者提出疑问：在很长的智能体会话里，风险这个因素该怎么持续判断。目前是公开测试阶段，哪些模型会被调用、测试怎么做的，原文没有细说。