推理与部署01
rmedipallycic/llm-inference-fault-tolerance · Fault-injection study of vLLM and SGLang: what a streaming client sees when an LLM server crashes mid-generation. 430 measured trials on Llama 3.1 8B (AWS A10G): naive retry contradicted already-delivered text; deterministic modes plus recompute recovered exactly. Paper, raw logs and table scripts included.
该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。
推理与部署02
hanxiao/Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000 · Abliterated Qwen3.8-27B in AWQ-INT4 with SGLang and an FP8 DFlash 2 drafter on half an NVIDIA RTX PRO 6000: 124 tok/s, 237k context, 2 slots, vision
该仓库记录了一套针对 abliterated Qwen3.8-27B 模型的生产推理部署方案：采用 AWQ-INT4 量化权重，结合 SGLang v0.5.22（含五个补丁）与 FP8 的 DFlash 2 投机解码草稿器，运行在 NVIDIA RTX PRO 6000 的半卡 MIG 分区上，并通过 Cloud Run 提供服务。README 给出了量化流程、显存与 KV 池配置、单流/四流与长上下文下的解码和预填充基准、投机解码与验证优化、并发槽位设置的实测数据，以及视觉输入、工具调用方面的能力说明和结构化输出不支持等限制。部署包含约 14 分钟冷启动和一次耗时约 75 分钟的量化步骤，性能数据均在 Cloud Run 环境下测得。
研究与技术03
美团团队为搜索和推荐场景里的小语言模型（SLM）做了一套新的推理引擎。原来这类场景要在 20 毫秒内返回结果，但通用推理框架（如 SGLang）是为开放式文本生成设计的，调度开销大、效率低。他们把这些“有固定计算步数”的请求重新组织成静态流程图来执行，并用编译和共享缓存等办法减少开销。结果是延迟仍低于 20 毫秒，吞吐达到 SGLang 的 10 倍，Prefill-only 的有效 MFU 为 67%。这套框架已经在美团搜索意图分流、相关性判断、生成式召回等场景取得实验显著性，能支撑全量推送。
文中可用工具
- AOTInductor把 PyTorch 模型提前编译成可直接加载的 GPU 计算产物
- Packed Prefill把多条变长输入打包处理，避免无效 padding 计算
- SGLang原本用于模型执行的通用推理框架，性能对比对象
- Triton Inference Server项目早期用其 Python Backend 适配业务协议
- vLLM原文仅提到名称，未说明具体用途
- PyTorch用于表达模型语义和选择算子实现
- FP8选择性使用的低精度矩阵计算，降低计算开销
评测与安全04
NVIDIA/swe-serve · SWE-Serve: an agentic benchmark of 53 production inference-engineering tasks derived from merged SGLang pull requests, run with Harbor.
SWE-Serve 是 NVIDIA 发布的智能体基准，包含 53 个源自 SGLang 已合并 PR 的生产推理工程任务（41 个 H100 GPU 任务与 12 个 CPU 任务），借助 Harbor 运行，考察模型/智能体在端到端执行、持久状态与并发请求下对推理系统的正确性改造能力。仓库以冻结基准发布形式提供任务目录、参考解与验证器，并支持封闭书本模式（closed-book）以防智能体查阅上游 PR，另有排行榜与论文链接。
AI 编程05
dreamference/mightling · DGX Spark & GB10 software: a private, fully local AI coding agent, chat and desktop app. One-command install, no cloud, no account, no telemetry. For NVIDIA DGX Spark, ASUS Ascent GX10, Dell Pro Max GB10, HP ZGX Nano, Lenovo ThinkStation PGX, MSI EdgeXpert, Acer GN100, Gigabyte AI TOP ATOM.
Mightling 是一个完全本地运行的 AI 编程助手，集终端编程智能体（ling）、网页聊天和桌面应用为一体，可在 NVIDIA DGX Spark 及各类 GB10 机器上通过一条命令安装。它不依赖云服务、账户或遥测，模型（Qwen3.8-27B NVFP4，由 SGLang 提供服务）在本地 GB10 上运行，128GB 统一内存，支持 262K 上下文，并提供 Night Shift 队列、代码索引、网页搜索/抓取以及 Gmail/Drive/Calendar 只读集成（预览）等功能。用户可通过 ling-admin audit egress 审计网络出口，并用 /airgapped on 将命令置于无网络命名空间。