SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
美团团队为搜索和推荐场景里的小语言模型（SLM）做了一套新的推理引擎。原来这类场景要在 20 毫秒内返回结果，但通用推理框架（如 SGLang）是为开放式文本生成设计的，调度开销大、效率低。他们把这些“有固定计算步数”的请求重新组织成静态流程图来执行，并用编译和共享缓存等办法减少开销。结果是延迟仍低于 20 毫秒，吞吐达到 SGLang 的 10 倍，Prefill-only 的有效 MFU 为 67%。这套框架已经在美团搜索意图分流、相关性判断、生成式召回等场景取得实验显著性，能支撑全量推送。
文中可用工具
- AOTInductor把 PyTorch 模型提前编译成可直接加载的 GPU 计算产物
- Packed Prefill把多条变长输入打包处理，避免无效 padding 计算
- SGLang原本用于模型执行的通用推理框架，性能对比对象
- Triton Inference Server项目早期用其 Python Backend 适配业务协议
- vLLM原文仅提到名称，未说明具体用途
- PyTorch用于表达模型语义和选择算子实现
- FP8选择性使用的低精度矩阵计算，降低计算开销
评论 · 分享第一个看法