推理与部署工具
llm-inference-fault-tolerance：测量 LLM 流式推理服务崩溃时客户端所见的令牌异常
rmedipallycic/llm-inference-fault-tolerance · Fault-injection study of vLLM and SGLang: what a streaming client sees when an LLM server crashes mid-generation. 430 measured trials on Llama 3.1 8B (AWS A10G): naive retry contradicted already-delivered text; deterministic modes plus recompute recovered exactly. Paper, raw logs and table scripts included.
ELI5：它是什么，解决什么问题
该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供针对 vLLM 和 SGLang 的故障注入测试工具：在流式生成过程中按指定分块位置终止工作进程，并记录完整的客户端令牌流；比较朴素重试、重算和固定间隔 KV 检查点等恢复策略的差异；仓库还包含精确一次令牌网关（带序号去重和持久令牌日志）以及网关测试；并提供分析脚本，从原始日志生成论文表格。
- 适用场景
- 适合研究或评估 LLM 推理服务在崩溃后客户端可见的令牌重复、缺失和发散问题；用于复现论文中的测量结果；用于比较 vLLM 与 SGLang 在确定性模式和缓存配置下的恢复行为；作为构建精确一次流式交付网关的参考实现。
- 项目形态
- 研究实现
- 部署方式
- 仓库说明 GPU 测量可在 AWS 或任意 Linux GPU 机器上进行；SGLang 使用官方容器运行；网关测试无需 GPU，可启动模拟引擎进程进行。
- 主要依赖
- GPU 测量需要支持 Llama 3.1 访问的 Hugging Face 令牌；实验环境为 NVIDIA A10G、Python 3.12、vLLM 0.31.0 或 SGLang 0.5.21 容器；仅需复现表格时不需要 GPU。
- 使用限制
- 节点丢失、挂起和静默数据损坏不在当前研究范围内；KV 检查点微基准与自适应策略（阶段 4、5）尚未开始；确定性模式下的吞吐代价未测量；SGLang 默认模式忽略 OpenAI 风格 seed，采样输出不可复现；恢复延迟主要来自服务重启，实测为 107 至 195 秒。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-23 09:37
资料检查：2026-10-24 07:00 · 卡片整理：2026-10-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
用于测试和排错 LLM 流式推理服务的容错行为：通过故障注入工具在指定流式分块位置杀死 vLLM 或 SGLang 工作进程，记录客户端完整令牌流，并比较朴素重试、重算、固定间隔 KV 检查点等恢复策略下客户端可见的重复、缺失或偏离令牌异常；仓库还提供精确一次令牌网关及其测试。
查看内容依据
Fault-injection study of vLLM and SGLang: what a streaming client sees when an LLM server crashes mid-generation.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。