语义缓存

ModelRoute：按置信度将请求路由到小型或大型模型的 LLM 路由系统

Nikhil-creat/modelroute · Agentic LLM router that sends each request to a LoRA-tuned small model or a larger one by confidence, cutting cost and latency without losing quality. LangGraph, RAG, CNN, Groq and Gemini, with PII and prompt-injection guards. Docker, Prometheus, MCP server..

ModelRoute 是一个可运行的 LLM 请求路由系统：训练分类器预测请求是否需要大模型，简单请求交给小型廉价模型，困难请求交给大型模型；结合 RAG 接地答案、近重复语义缓存、PII 脱敏与提示注入防护、弱答案升级复核、人工审核队列和 SQLite 请求日志，用于度量成本、延迟与回退率。提供 FastAPI 接口、统计与反馈端点，可选 CNN 截图分类与 LoRA 微调模块。