推理与部署工具
ModelRoute：按置信度将请求路由到小型或大型模型的 LLM 路由系统
Nikhil-creat/modelroute · Agentic LLM router that sends each request to a LoRA-tuned small model or a larger one by confidence, cutting cost and latency without losing quality. LangGraph, RAG, CNN, Groq and Gemini, with PII and prompt-injection guards. Docker, Prometheus, MCP server..
ELI5：它是什么，解决什么问题
ModelRoute 是一个可运行的 LLM 请求路由系统：训练分类器预测请求是否需要大模型，简单请求交给小型廉价模型，困难请求交给大型模型；结合 RAG 接地答案、近重复语义缓存、PII 脱敏与提示注入防护、弱答案升级复核、人工审核队列和 SQLite 请求日志，用于度量成本、延迟与回退率。提供 FastAPI 接口、统计与反馈端点，可选 CNN 截图分类与 LoRA 微调模块。
核心能力与快速开始
★ 3 · Python
- 能做什么
- 请求经过防护（注入拦截、PII 脱敏）、语义缓存、基于 kb/ 的 TF-IDF RAG、路由器按置信度选择小模型或大模型（Groq 8B 或 Gemini，支持故障转移与熔断）、弱答案由 judge 升级到大模型、不确定案例进入人工审核队列并写入 SQLite 日志；响应包含各步骤 trace。提供 /route、/stats、/review、/feedback、/health、/config 接口，支持可选 API Key 与速率限制；含训练与评测脚本、Python 单元与 API 测试、可选 PyTorch CNN 视觉分类器和 LoRA 微调脚本。
- 适用场景
- 适用于客服或支持工单类场景的 LLM 成本与延迟优化：用已有带标签工单数据训练路由分类器，让简单问题走小模型、困难问题走大模型，并通过 RAG 与缓存提升响应效率；也可用于需要 PII 脱敏、注入防护和人工复核的 LLM 应用原型与评测。
- 项目形态
- 可直接使用的工具
- 部署方式
- README 给出本地运行方式（pip 安装依赖后启动 uvicorn），并指向 DEPLOY.md；未说明生产部署细节。
- 主要依赖
- Python 与 requirements.txt 依赖；真实模型回答需要 Groq 和 Gemini 的 API Key，无 Key 时可使用 mock 模式；可选的 CNN 与 LoRA 模块需要 PyTorch。
- 使用限制
- 检索使用 TF-IDF 而非向量数据库；缓存为内存实现；速率限制为内存实现，适合单进程；内置数据集为合成数据，需替换为自有标注工单后重新训练；价格参数为假设值；视觉 CNN 与 LoRA 训练器为可选模块；许可证为 NOASSERTION，商用条件未说明。
- 许可证
- NOASSERTION
- 最近推送
- 2026-10-21 10:38
资料检查：2026-11-04 07:00 · 卡片整理：2026-11-04 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为可运行的 LLM 路由系统参考实现，程序员可研究或复用其 FastAPI 接口、分类器路由、RAG、语义缓存、PII 脱敏与提示注入防护、弱答案升级复核、SQLite 请求日志及统计端点，用于构建或调试按置信度选择小/大模型的请求路由服务。
查看内容依据
A working LLM routing system. A trained classifier predicts whether a support request needs a large model; easy requests go to a small, cheap model and hard ones to a larger one.
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
产品经理可借助其 /stats 端点查看真实请求数、相对始终使用大模型的成本节省、延迟、回退率和缓存率，用于评估模型路由方案的成本与体验指标。
查看内容依据
`GET /stats` | Real request count, cost saving vs always-large, latency, fallback and cache rates
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。