AryenP/spec-decode · Speculative decoding and a KV cache written from scratch on GPT-2, measured on an M2 Pro and an RTX 4090: up to 2.69x over a KV cache, fp32 output byte-identical
该项目在 GPT-2 上从零实现前向计算、逐行回滚的 KV 缓存以及投机解码生成器，仅使用 HuggingFace 加载权重和分词器。项目在 M2 Pro 和 RTX 4090 上对比了全量重算、KV 缓存、带草稿模型的投机解码与无草稿模型的 prompt lookup 方法，记录吞吐数据、批处理表现、采样与 bf16 精度下的差异，并保留测试与完整实验配置。
展开详情收起详情：spec-decode：从零实现 GPT-2 投机解码与 KV 缓存的性能实测项目⌄
★ 0 · 研究实现
GitHub
原文发布：未知收录：2026-11-04
Nikhil-creat/modelroute · Agentic LLM router that sends each request to a LoRA-tuned small model or a larger one by confidence, cutting cost and latency without losing quality. LangGraph, RAG, CNN, Groq and Gemini, with PII and prompt-injection guards. Docker, Prometheus, MCP server..
ModelRoute 是一个可运行的 LLM 请求路由系统：训练分类器预测请求是否需要大模型，简单请求交给小型廉价模型，困难请求交给大型模型；结合 RAG 接地答案、近重复语义缓存、PII 脱敏与提示注入防护、弱答案升级复核、人工审核队列和 SQLite 请求日志，用于度量成本、延迟与回退率。提供 FastAPI 接口、统计与反馈端点，可选 CNN 截图分类与 LoRA 微调模块。
展开详情收起详情：ModelRoute：按置信度将请求路由到小型或大型模型的 LLM 路由系统⌄
★ 3 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-11-04