推理与部署AI 资源

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter-ai/rolter · (WIP) High-performance OpenAI/Anthropic-compatible AI gateway + load balancer in Rust (LiteLLM-proxy alternative)

GitHub原文发布未知首次收录 2026-10-29上架 2026-10-29 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

# Rust # 负载均衡 # OpenAI 兼容 # AI Gateway # KV Cache

核心能力与快速开始

★ 11 · Rust

能做什么: 提供 OpenAI/Anthropic 兼容的 `/v1/*` 网关接口，代理商业供应商并负载均衡自托管 OpenAI 兼容实例（如 20–30 个 vLLM 实例）；支持缓存感知路由，把前缀密集流量导向 KV 缓存更可能命中的副本；提供虚拟密钥、预算、限流、成本追踪、RBAC 以及无需重启的配置热更新；由 Postgres 控制面、Redis 变更事件、ClickHouse 请求日志和 React 仪表盘组成完整栈。
适用场景: 适合需要统一接入多家模型供应商、在自托管推理集群前做负载均衡、并集中管理密钥、预算与用量的团队；也可用于对外提供 OpenAI/Anthropic 兼容 API 的内部 AI 平台。
项目形态: 可直接使用的工具
部署方式: 提供单镜像 Docker 运行（网关 + 仪表盘），完整栈可用 docker compose 启动，包含 Postgres、Redis、ClickHouse；也支持从 release、cargo、uv 或 pip 安装原生二进制并以 `rolter easy-up` 启动。
主要依赖: 原生二进制要求 Rust MSRV 1.94；完整栈需 Postgres、Redis、ClickHouse；未说明其他硬件要求。
使用限制: 项目状态为活跃开发（WIP），剩余工作列于 ROADMAP/TODO 与 issues；Rust 库 crate 为内部使用，不提供稳定 API；无管理员令牌时仪表盘与管理 API 默认未认证，需显式开启开放模式或设置令牌；未说明费用与商用限制。
许可证: Apache-2.0
最近推送: 2026-10-29 06:31

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-29 07:00 · 卡片整理：2026-10-29 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

outturn：多租户 Agent 平台的 Rust 运行时基础

outturn 是一个用 Rust 构建的多租户 Agent 平台基础框架，面向需要让每个客户都能运行各自 Agent 的公司。它内置租户隔离、按租户用量归因、在 WebAssembly 沙箱中运行 Agent 代码、默认拒绝的出站访问规则、网关集中保管凭证、每轮签名令牌，以及防止单个租户故障影响其他租户的断路器。项目处于早期开发阶段，接口可能变动，提供本地 Kubernetes 集群的开发与演示流程，以及面向真实部署的密钥与清单生成脚本。

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

ClaimCheck：面向 LLM 工作流的本地优先 PII 假名化网关

ClaimCheck 是一个本地优先的隐私脱敏网关，用于在 LLM 工作流中把敏感标识符替换为稳定的占位符（如 [FEIN_1]、[SSN_2]），并通过保存在本机的可逆映射库在输出阶段还原真实值。它提供 MCP 服务器模式（供 Cline、Cursor、Claude Desktop、OpenClaw 等 MCP 客户端通过 read_sanitized、scan_file、sanitize_text 工具读取脱敏内容）和 OpenAI 兼容 LLM 反向代理模式（在请求链路上自动脱敏、在响应上还原，并支持 SSE 流式响应）。内置基于正则与校验器的确定性识别器，覆盖 FEIN、SSN、信用卡、IBAN、云密钥、JWT、PEM 私钥、密码字段等，并可选启用本地 NER 模型识别姓名、机构、地点，支持自定义脱敏规则。

PageSift：为 AI Agent 与 RAG 管线提供高吞吐、内存受限的网页抓取与内容提取引擎

PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。