Nvidia 发布可提示的转录模型
这件事讲了什么
Nvidia 发布了 Nemotron 3.5 Transcribe,这是一个开源权重的多语言转录模型。以前的转录模型只能按音频原样转写,出错了也不好纠正;这次的新模型支持在开始前给它提示,比如告诉它这是英语医学讨论、附上专业术语表,还能要求标注说话人、指定逐字或整理后的格式。它可以处理 40 种语言、最长一小时的录音,但不支持实时直播。Nvidia 称它在 Hugging Face 英语开源语音识别榜上以 5.33% 的平均词错率排第一,在部分基准上还优于参数量大得多的 Voxtral。开发者可以用 vLLM 部署,或用 NeMo-Speech.cpp 在本地单 GPU 上运行,也能用 NeMo 工具微调以进一步降低错误率。模型已经发布,属于开源权重,采用 OpenMDW-1.1 许可。
可以使用的工具
文中可用工具
- Nemotron 3.5 TranscribeNvidia 新发布的可提示多语言转录模型,支持说话人标注和翻译
- VoxtralMistral 的可提示语音转文字模型,文中用作对比
- Universal 3 ProAssemblyAI 的可提示语音转文字模型,文中提及
- vLLM用于部署该模型的推理服务框架
- NeMo-Speech.cpp用于在本地运行该转录模型的工具,项目已开源在 GitHub
- NeMo Speech提供微调工具,可帮助降低模型错误率
- NeMo Curator用于构建 Granary v2 数据整理流水线
- Granary v2可复用的数据整理流水线,附带公开清单,用于准备自定义训练数据
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。