推理与部署01
NVIDIA/NeMo-Speech.cpp · NeMo-Speech.cpp is a lightweight C++ inference runtime for Speech models
NeMo-Speech.cpp 是 NVIDIA 官方推出的轻量级 C++ 推理运行时,为 Nemotron 语音模型族提供本地推理支持,涵盖语音识别、语音合成、说话人日志、语音翻译和全双工语音聊天等应用。它基于 ggml 实现原生推理,支持流式处理,在 CPU 和 GPU 上均可运行。项目提供命令行工具、本地 HTTP 服务、原生 SDK 以及多种客户端集成方式,可用于实时转写、会议字幕、语音合成等本地语音推理场景。
应用工具02
Mullassery/PyInterviewBot · Voice-first AI interview platform: Rust WebSocket audio gateway, Python ASR/LLM/TTS evidence engine, and TypeScript client. Candidates converse by voice; the system transcribes, extracts evidence, and adapts.
PyInterviewBot 是语音优先的 AI 人才评估平台:候选人通过语音听题和作答,系统在后台完成语音转写、证据提取、能力图谱更新,并据此自适应追问。项目由 Rust WebSocket 语音网关、Python ASR/LLM/TTS 编排与证据引擎、TypeScript 候选人/招聘方客户端组成,默认使用 faster-whisper、Ollama 和 Piper 等本地开源模型,也支持 mock 模式离线运行,并提供招聘方可查看转写和证据图谱的视图、与证据关联的报告和人工复核流程。项目自述为可用 MVP/早期原型,尚不具备生产部署所需的安全隔离能力。