AI 资源库 · 已整理 3 项
查看与负载均衡相关的 AI 资讯、工具、Skill、工作流和开源项目。
rolter-ai/rolter · (WIP) High-performance OpenAI/Anthropic-compatible AI gateway + load balancer in Rust (LiteLLM-proxy alternative)
rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。
Cloudflare 优化了其内部负载均衡服务中一致性哈希的 Rust 实现（pingora-ketama），把这项服务占用的内存减少了 100 TB 以上。原来的问题是：每个后端服务器要在哈希环上保存很多哈希条目，条目越多占用内存越大。这次的做法是压缩哈希环上的条目，并通过统计分析哈希分布和冲突率，把每个后端所需的哈希数量减少了约 90%。对读者来说，这说明大规模系统里看似不起眼的数据结构优化，也能省下巨量内存资源。
Meta 为自家的数据库 ZippyDB 加了一个叫 ZGateway 的中间层（代理）。以前每个应用都要和数据库单独保持连接，连接太多、管理麻烦；现在应用只连 ZGateway，由它统一负责连接管理、流量分发、缓存、负载均衡和访问控制。它每秒能处理超过 10 亿次操作，承载了 ZippyDB 约 40% 的流量，Meta 的模型估算持久连接数因此减少了 19 倍。对读者来说，这是大型互联网公司如何用代理层给数据库连接“减负”的一个实际案例，目前仍是 Meta 内部方案，未说明对外开源或商用。