← 返回列表
推理与部署综合合集

sparkrun-recipes:面向 NVIDIA DGX Spark 的 SparkRun 推理配方注册表

mfellner/sparkrun-recipes · Custom SparkRun recipes for DGX Spark-class systems

GitHub原文发布 未知首次收录 2026-10-15上架 2026-10-15 07:02

☆ 收藏查看项目 ↗

ELI5:它是什么,解决什么问题

该项目是面向 NVIDIA DGX Spark 及兼容 GB10 系统的自定义 SparkRun 配方注册表,通过 sparkrun registry add 注册后可在 @mfellner/ 命名空间下使用。包含多个配方:单机原生 TTS(Fish Audio Drama 3)、单机多模态检索嵌入(Qwen3-VL-Embedding-8B)、双机 1M 上下文的 Qwen3.8 Flash Next NVFP4 和 GLM 5.3 Flash EXL3 on TensorFold 等,均带有镜像与模型快照的不可变 pin、依赖与授权说明以及可复核的验收证据。配方多采用非特权容器、主机网络/IPC、设备访问等配置,服务默认无鉴权,需运行在受信任的私有网络中。

核心能力与快速开始

★ 6 · Python

能做什么
提供面向 NVIDIA DGX Spark / 兼容 GB10 系统的 SparkRun 配方注册表(@mfellner/ 命名空间),包含:Fish Audio Drama 3 单机原生 TTS 配方(block-FP8 专家、BF16 稠密权重、GPU 编解码器、原生 decode CUDA 图);Qwen3-VL-Embedding-8B 单机多模态检索配方(vLLM pooling runner、32,768 token 上下文、4,096 维归一化向量、文本与内联图片嵌入);Qwen3.8 Flash Next NVFP4 双机配方(TP2/MP、专家并行、MTP-3 推测解码、1,000,000 token 配置上下文、文本/图像/视频输入、带 fail-closed 就绪与语义完成门);GLM 5.3 Flash EXL3 on TensorFold 双机配方(v1.7.1 与历史 TR3 回滚两个版本,TP2/C4、FP8 KV、Q4 稠密、DFlash2、1,048,576 token 配置上下文)。各配方均附带 pinned 镜像与模型快照、验收证据与限制说明。
适用场景
在 DGX Spark / GB10 单机或双机集群上通过 SparkRun 拉起并运行 LLM 推理、多模态嵌入检索、TTS 语音合成等工作负载;需要精确复现固定版本镜像与模型快照的部署场景;在私有受信任网络中对无鉴权推理端点进行内部使用或评测。
项目形态
可直接使用的工具
部署方式
通过 `sparkrun registry add --trust <repo>` 注册注册表后使用 `sparkrun run @mfellner/<recipe>` 启动;配方依赖 Docker 运行的 SparkRun 执行路径,涉及主机网络/IPC、设备访问(含 /dev/infiniband)、特定 UID/GID 与共享内存配置;服务默认无鉴权并需绑定在受信任的私有网络。具体部署与集群参数以各配方及仓库文档为准。
主要依赖
目标机器为 NVIDIA DGX Spark 或兼容 GB10 系统;单机或双机(部分配方要求精确两节点及预配置 CX-7 直连 RoCE 网卡);需 SparkRun 运行时(README 提及 SparkRun 0.3.6 Docker 路径);模型权重与镜像需按 pinned 快照预先就绪;部分配方启动要求 earlyoom 处于非活动状态。具体硬件、驱动与显存要求未在此材料中完整说明。
使用限制
多个配方所依赖的许可存在限制或冲突:Fish Audio Community License v1.0 适用于 Fish 材料,托管服务与声音授权/合法权利限制仍适用;GLM 5.3 Flash 所选 checkpoint 的 MIT 与 Apache-2.0 声明互相冲突且未统一,DFlash2 为 CC BY-NC-ND 4.0 非商业许可;Qwen3.8 checkpoint 被发布者描述为私有候选版本并继承 Qwen Community 1.0 条款。文档中说明配置的 1M 上下文并不等同于已完成的 1M 提示测试,视频与上游基准未在本地验证。API 无鉴权、部分以 root 或特权相关配置运行,须限定在受信任的防火墙私有网络中。
许可证
MIT
最近推送
2026-10-14 08:40

资料检查:2026-10-15 07:00 · 卡片整理:2026-10-15 07:00
卡片由 AI 根据仓库资料整理,未进行安装或运行验证

职业应用

程序员

在 DGX Spark 类 GB10 系统上部署和运行大模型推理服务:通过 sparkrun registry add 注册该配方仓库后,可用 sparkrun run 启动单机 TTS、单机多模态检索嵌入、双机 1M 上下文 Qwen3.8 Flash Next NVFP4 以及 GLM 5.3 Flash EXL3 on TensorFold 等推理配方,并参考其中的镜像与模型快照不可变 pin、依赖与授权说明以及可复核的验收证据进行部署验证。

查看内容依据
Custom [SparkRun](https://sparkrun.dev/) recipe registry for NVIDIA DGX Spark and compatible GB10 systems.

官方使用入口 ↗

由 AI 根据来源材料整理,未进行安装或运行验证

这是基于来源内容整理的摘要。原文链接失效后,本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论,阅读资讯无需注册。

还没有评论,来分享第一个看法。