AI 资源库 · 已整理 2 项

低延迟

查看与低延迟相关的 AI 资讯、工具、Skill、工作流和开源项目。

模型进展

微软新语音 AI 能在你话没说完时预判意图

微软在 Microsoft Foundry 平台上发布了三款新语音模型：实时转写模型 MAI-Transcribe-2-Streaming，以及两个文本转语音模型 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash。过去语音客服要等人说完话才处理，中间容易卡顿；新转写模型在收到声音后“几百毫秒”内就能给出初步文字猜测，边说边修正，让系统提前判断来电者要什么。目前这些模型已可用，微软称其在准确率榜单上排名第一。不过业内专家提醒，真正的难点在对话中的停顿判断——延迟降低后，如果系统抢话，反而会打断用户。

文中可用工具

  • MAI-Transcribe-2-Streaming把实时说话内容边说边转成文字，支持自动语言检测
  • MAI-Voice-2.1富有表现力的多语言文本转语音模型
  • MAI-Voice-2.1-Flash面向高并发、低延迟语音应用的文本转语音模型
  • Microsoft Foundry微软的应用与智能体模型目录和平台，上述模型已在此可用
# 低延迟# 语音模型# 实时转写# 文本转语音
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
研究与技术

SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化

美团团队为搜索和推荐场景里的小语言模型（SLM）做了一套新的推理引擎。原来这类场景要在 20 毫秒内返回结果，但通用推理框架（如 SGLang）是为开放式文本生成设计的，调度开销大、效率低。他们把这些“有固定计算步数”的请求重新组织成静态流程图来执行，并用编译和共享缓存等办法减少开销。结果是延迟仍低于 20 毫秒，吞吐达到 SGLang 的 10 倍，Prefill-only 的有效 MFU 为 67%。这套框架已经在美团搜索意图分流、相关性判断、生成式召回等场景取得实验显著性，能支撑全量推送。

文中可用工具

  • AOTInductor把 PyTorch 模型提前编译成可直接加载的 GPU 计算产物
  • Packed Prefill把多条变长输入打包处理，避免无效 padding 计算
  • SGLang原本用于模型执行的通用推理框架，性能对比对象
  • Triton Inference Server项目早期用其 Python Backend 适配业务协议
  • vLLM原文仅提到名称，未说明具体用途
  • PyTorch用于表达模型语义和选择算子实现
  • FP8选择性使用的低精度矩阵计算，降低计算开销
# slm# 推理引擎# sglang# 低延迟# AOTInductor
☆ 收藏查看来源 ↗
评论 · 分享第一个看法