推理与部署工具
EvolveRouter：面向 Agent 的本地 LLM 路由网关
holny/evolve-router · Stop burning premium model tokens on simple prompts. Save tokens. Spend them where they matter. Local-first self-evolving LLM router with a decision model + feedback flywheel. Judges each request and picks the right model on the fly. 7MB Rust, zero cloud, fully auditable. Works with OpenAI/Anthropic & agents.
ELI5：它是什么，解决什么问题
EvolveRouter 是一个用 Rust 编写的本地 LLM 路由网关，面向 Agent 场景。它对每个请求按八项信号判定，结合计划计价的成本，用五项因素打分后动态选择模型，并通过反馈飞轮持续改进。项目提供 macOS 菜单栏面板和零构建仪表盘，兼容 OpenAI 与 Anthropic 接口及多种 Agent 客户端，配置为 `auto` 模型即可接入；提示词、会话和遥测数据保留在本机。
核心能力与快速开始
★ 3 · Rust
- 能做什么
- 基于请求判定与多维评分，把请求路由到合适的模型；支持硬性过滤（上下文窗口、视觉能力、提供商健康状态、配额、价格层级门槛）、难度校准、动态权重、五项因素打分、Thompson 采样探索、失败分类、降级与探测、会话隔离与回退链；可选决策模型与规则判断融合；带反馈飞轮和本地完成缓存；提供 macOS 菜单栏面板与仪表盘，并兼容 OpenAI 与 Anthropic 双向流式接口。
- 适用场景
- 将编码 Agent 或通用 Agent 指向本地网关后，用模型名 `auto` 自动在多个提供商与模型之间按难度和成本选择；在订阅配额、按量计费和免费模型之间做成本与质量权衡；需要本地保存提示词与会话、并审计路由决策时作为本地网关使用。
- 项目形态
- 可直接使用的工具
- 部署方式
- 网关可源码构建后在任意操作系统运行（cargo build --release 后执行 evo-router serve，默认 127.0.0.1:8787）；macOS 可通过 Homebrew cask 安装含菜单栏面板的应用（未公证，首次启动需右键打开）。
- 主要依赖
- 需要 Rust stable 工具链（源码构建）或使用 macOS Homebrew cask；需在配置文件中声明决策模型槽位、上游提供商与密钥等；具体硬件与网络要求未说明。
- 使用限制
- 决策模型为可选，未配置时仅使用规则判断；决策模型不可达时回退到规则；定价支持范围依所用提供商与计划，材料未说明全部费用与限制；macOS 应用未公证；未说明非 macOS 平台的面板支持。
- 许可证
- MIT
- 最近推送
- 2026-10-20 21:41
资料检查：2026-10-21 07:00 · 卡片整理：2026-11-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为本地 LLM 路由网关，接入 Claude Code、Codex、opencode 等编程 Agent 客户端，将模型设为 auto 后按请求难度与成本动态选择模型，从而在简单编码请求上节省高级模型 token，并把预算留给复杂任务。
查看内容依据
OpenAI-compatible clients use `http://127.0.0.1:8787/v1` with model `auto`; Claude Code and other Anthropic clients use `http://127.0.0.1:8787` as the Anthropic base URL
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。