推理与部署AI 资源
NeMo-Speech.cpp：面向 Nemotron 语音模型族的轻量级原生 C++ 推理运行时
NVIDIA/NeMo-Speech.cpp · NeMo-Speech.cpp is a lightweight C++ inference runtime for Speech models
ELI5：它是什么，解决什么问题
NeMo-Speech.cpp 是 NVIDIA 官方推出的轻量级 C++ 推理运行时，为 Nemotron 语音模型族提供本地推理支持，涵盖语音识别、语音合成、说话人日志、语音翻译和全双工语音聊天等应用。它基于 ggml 实现原生推理，支持流式处理，在 CPU 和 GPU 上均可运行。项目提供命令行工具、本地 HTTP 服务、原生 SDK 以及多种客户端集成方式，可用于实时转写、会议字幕、语音合成等本地语音推理场景。
核心能力与快速开始
★ 213 · C++
- 能做什么
- 提供 Nemotron 语音模型族的原生 C++ 推理运行时，支持语音识别、Speech-LLM 转写、说话人日志、文本与语音翻译、语音合成和全双工语音聊天。内置流式转写和流式语音合成，支持 160 ms 音频分块，声称在 RTX 4090 上转写可达实时 67 倍、语音合成第一段音频低于 10 ms 且吞吐达实时 60 倍。提供 nemo-speech CLI、本地 HTTP 服务和 playground、OpenAI 兼容子集及实时 WebSocket、独立的 Riva 兼容 gRPC 服务、原生 C/C++ SDK 与 CMake 组件，以及客户端集成方式。
- 适用场景
- 适合需要在本地或边缘设备运行语音识别、语音合成、说话人日志和语音翻译的应用开发；可用于搭建实时转写服务、会议字幕与说话人标注、语音合成与语音翻译流水线、全双工语音聊天以及将语音推理集成到 C/C++ 应用或通过 HTTP/gRPC 提供服务的场景。
- 项目形态
- 开发框架
- 部署方式
- 支持通过官方安装脚本安装预编译 CLI，或从源码构建；支持 CPU、CUDA、Metal、Vulkan 等后端，可本地运行 HTTP 服务与 playground，也可通过原生 SDK 或 gRPC 集成。具体部署条件与硬件要求见文档，材料未完整列出。
- 主要依赖
- 源码构建需要 CMake 3.26+、Ninja、C 与 C++17 编译器、SentencePiece 开发文件，以及所选后端对应的工具链；安装脚本会自动下载预编译包或按需从源码构建。具体平台前置条件材料未完整说明。
- 使用限制
- 材料未说明模型权重和 API 使用成本、商业使用限制（尽管 NVIDIA 代码为 Apache-2.0，第三方组件另有条款）、全部硬件兼容列表和部署规模限制；性能数据基于特定模型和量化配置，实际表现可能因设备和模型选择不同。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-30 06:22
资料检查：2026-10-30 07:00 · 卡片整理：2026-11-01 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。