Inference Systems Lab：LLM 推理服务基准测量与证据复现工具包

stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.

GitHub原文发布未知首次收录 2026-09-25上架 2026-09-25 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个服务测量工具包，起源于推测解码速度实验，包含标准库 Python 客户端，用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标，并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验（单张 RTX 4090 上 1536 次 vLLM 请求）的原始轨迹、结果表与对比数据，以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置，不构成通用最快服务栈的选型依据，也未声称无损加速或输出质量提升。

# streaming # 基准测试 # reproducibility # 推理与部署 # speculative-decoding

核心能力与快速开始

★ 0 · Jupyter Notebook

能做什么: 提供标准库 Python 流式服务基准客户端，面向本地 OpenAI 兼容 /v1/chat/completions 端点，记录每次请求的状态、首个文本块到达时间、后续块间隔、总延迟、服务端返回 token 数、预热次数、工作负载哈希与服务端设置；并发阶段使用固定大小闭环 worker 池；客户端不下载或启动模型。仓库包含受控 GPU 实验产物：单张 RTX 4090 上 1536 次实测请求、NVIDIA-smi 遥测、请求轨迹、输出哈希比较、前缀缓存 ON/OFF 与并发扫描对比，以及 provider 计费记录。另提供离线记录结果校验脚本与基于本地 fixture 服务器的 HTTP/SSE 客户端单元测试，两者均不运行模型推理。
适用场景: 用于在自行搭建的 OpenAI 兼容推理服务上测量流式延迟与吞吐并留存原始证据；用于检查或复现推测解码（EAGLE-3）与 Transformers assisted decoding 的历史记录结果；用于以 24 条提示、单次运行等小规模配置预览受控实验计划；用于在不运行推理的前提下核对已保存的指标与产物；用于为服务性能对比建立可审计的轨迹、哈希与计费记录流程。
项目形态: 可直接使用的工具
部署方式: 客户端通过 pip/标准库 Python 运行，目标为本地回环地址上已运行的服务端点；受控实验使用容器化 vLLM 并固定容器摘要，具体部署步骤按 README 中的命令在仓库根目录执行；需自行准备兼容 GPU 环境、下载模型并显式分配算力。
主要依赖: Python 3.11+；客户端本身不需要模型下载或启动。受控 GPU 实验记录环境为单张 NVIDIA RTX 4090，vLLM 0.10.2 与 Qwen2.5-1.5B-Instruct；历史推测解码实验记录环境为 NVIDIA A100-SXM4-80GB，PyTorch 2.8.0+cu128、Transformers 4.57.6、vLLM 0.11.0，并附有 provider 计费记录（整次分配 $0.225616）。当前包兼容性未被保存输出保证。
使用限制: README 明确声明不构成无损加速或答案质量结论；前缀缓存模式下 768 组配对比较中仅 210 组文本完全一致。每项研究仅使用 24 条提示、每种配置单次运行，无置信区间，也无多设备重复。Phase3 未建立输出等价性或无损性，其记录与基线的精确匹配为零，接受率代理不一定等同于引擎级接受遥测。两项研究使用不同提示、目标模型与引擎，无法进行受控对比；且仅覆盖单一模型家族。记录结果用于检查该设置，不用于选择通用最快服务栈。输出质量、量化与推测解码改进未被该实验确立。仓库自带的六条提示为合成冒烟负载，不代表真实服务性能。
许可证: MIT
最近推送: 2026-09-25 06:59

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-25 07:00 · 卡片整理：2026-09-25 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

用于对本地 OpenAI 兼容 /v1/chat/completions 端点进行流式服务基准测量：记录首块到达、块间隔、总延迟、服务端 token 数，并支持固定大小闭环并发阶段；也可离线校验已记录结果并运行单元测试，辅助推理服务性能排错与复现。

查看内容依据

The standard-library Python client targets a locally served OpenAI-compatible `/v1/chat/completions` endpoint. It records each request's status, first text-chunk arrival, subsequent chunk gaps, total latency, server-reported tokens, warmups, workload hash and server settings.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Genesis vLLM Patches：面向 Ampere GPU 的 int8 端到端推理补丁集

该项目是 vLLM 0.29.0 的个人运行时补丁分支，核心思路是在没有 fp8 张量核心的 Ampere（sm_86）硬件上把 int8 作为贯穿各阶段的「计算」格式。补丁覆盖 W4A8 Marlin GEMM、int8 per-token-head KV cache、手写 PTX 整数注意力解码内核、int8 TP all-reduce 以及 int4 lm_head 等，目标是让张量从 RMSNorm 到注意力全程不离开整数域。仓库基于特定机器（2× RTX 3090、TP=2、一个特定量化检查点）调优，附带大量实测对比数据与未解决问题记录，处于活跃开发状态，并非成品。

TensorFold：在 Apple Silicon 与 NVIDIA GPU 上提供精确 LLM 解码的 OpenAI 兼容端点

TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。

MaxToken：在 Apple silicon 上以有限内存服务大型 MoE 模型

MaxToken 是 FlashML FreeToken 的独立分支，把面向边缘的 MoE 推理引擎改造成 Apple silicon 优先的运行时，目标是“用最少内存产出最多 token”。它基于 MLX 执行，只保留稠密核心常驻内存，把路由专家放到由 SSD 直接读取驱动的弹性、硬预算槽位缓存中；当模型可容纳时则使用零拷贝内存映射存储以常驻内核速度运行。项目提供 OpenAI 与 Anthropic 兼容 API（Claude Code、Codex 可直接对接）以及内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），并支持原生 MTP 投机解码与草稿模型投机解码。仅在 Apple silicon（macOS、Metal）上运行，0.0.1 起移除了上游 CUDA 引擎。

llama.cpp-sycl-intel-b70：面向 Intel Arc Pro B70 的 llama.cpp SYCL Docker 镜像与调优指南

该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。