推理与部署AI 资源

DeepSeek-v4-Flash-One-DGX-Spark：在单台 NVIDIA DGX Spark 上本地运行 DeepSeek V4 Flash 的部署方案

liveryalpineanemone2431/DeepSeek-v4-Flash-One-DGX-Spark · Run DeepSeek V4 Flash 0731 with EXL3 and DSpark speculative decoding on a single NVIDIA DGX Spark (GB10, 128GB).

GitHub原文发布未知首次收录 2026-10-12上架 2026-10-13 07:07

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目面向单台 NVIDIA DGX Spark（GB10，128GB）平台，提供运行 DeepSeek V4 Flash 0731 的打包方案，结合 EXL3 量化与 DSpark 投机解码以提升本地推理性能。仓库 README 主要以 Windows 下 exe 安装向导形式介绍下载、安装、首次配置与聊天使用流程，并声明安装后全部本地运行、无需联网。需要说明的是，README 中的硬件要求（Windows 10/11、16GB 内存、50GB 磁盘）与仓库元数据描述的 DGX Spark（GB10）定位存在不一致，实际部署条件、依赖与限制以官方仓库为准。

# DeepSeek # speculative-decoding # quantization # local-inference # dgx-spark

核心能力与快速开始

★ 0 · Python

能做什么: 面向单台 NVIDIA DGX Spark（GB10，128GB）提供 DeepSeek V4 Flash 0731 的本地运行打包，涉及 EXL3 量化与 DSpark 投机解码；README 描述了通过安装程序在 Windows 上完成下载、安装、首次配置与对话使用的完整流程，并支持对话历史保存、参数（如响应长度、创造性、温度）调整、多语言交互以及安装后离线使用。
适用场景: 适合希望在本地自有硬件上运行 DeepSeek V4 Flash 进行日常问答、文本写作辅助、简单知识解答等对话式使用的场景，以及对单机 DGX Spark 环境下量化加速推理方案感兴趣的用户参考。
项目形态: 可直接使用的工具
部署方式: README 描述为通过 Windows 安装程序（DeepSeek-v4-Flash-Setup.exe 一类文件）本地安装运行，安装后离线使用；但仓库元数据指向 NVIDIA DGX Spark（GB10）平台，两处描述不一致，实际部署方式未说明。
主要依赖: README 提及 Windows 10/11、至少 16GB 内存（推荐 32GB）、50GB 可用磁盘空间与首次下载的网络连接；仓库元数据描述目标硬件为单台 NVIDIA DGX Spark（GB10，128GB）。两者不一致，具体硬件、显存与依赖要求未说明。
使用限制: 未说明实际推理性能、量化精度损失、API 兼容性与并发能力；README 提供的安装与硬件信息同仓库元数据的 DGX Spark 定位存在矛盾；资料未给出源码构建或 DGX Spark 上的具体运行脚本说明；是否可商用及许可证适用范围需以仓库许可为准，未说明。
许可证: MIT
最近推送: 2026-10-11 15:41

核对 README 依据 ↗

资料检查：2026-10-12 07:00 · 卡片整理：2026-10-13 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

clef-hrx：在 AMD Strix Halo 上用 Rust 运行 Cloudflare CLEF 多模态结构化决策推理

该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。

EdgeJev：在普通 CPU 上离线运行的本地类型化决策推理服务

EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程：导出 ONNX、做 INT8 量化，并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理，运行时只依赖 onnxruntime、tokenizers、numpy，不需要 torch、API key 或联网，数据不出本机；同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。

Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000：在单张半卡 RTX PRO 6000 上部署量化 Qwen3.8-27B 推理服务

该仓库记录了一套针对 abliterated Qwen3.8-27B 模型的生产推理部署方案：采用 AWQ-INT4 量化权重，结合 SGLang v0.5.22（含五个补丁）与 FP8 的 DFlash 2 投机解码草稿器，运行在 NVIDIA RTX PRO 6000 的半卡 MIG 分区上，并通过 Cloud Run 提供服务。README 给出了量化流程、显存与 KV 池配置、单流/四流与长上下文下的解码和预填充基准、投机解码与验证优化、并发槽位设置的实测数据，以及视觉输入、工具调用方面的能力说明和结构化输出不支持等限制。部署包含约 14 分钟冷启动和一次耗时约 75 分钟的量化步骤，性能数据均在 Cloud Run 环境下测得。

sparkrun-recipes：面向 NVIDIA DGX Spark 的 SparkRun 推理配方注册表

该项目是面向 NVIDIA DGX Spark 及兼容 GB10 系统的自定义 SparkRun 配方注册表，通过 sparkrun registry add 注册后可在 @mfellner/ 命名空间下使用。包含多个配方：单机原生 TTS（Fish Audio Drama 3）、单机多模态检索嵌入（Qwen3-VL-Embedding-8B）、双机 1M 上下文的 Qwen3.8 Flash Next NVFP4 和 GLM 5.3 Flash EXL3 on TensorFold 等，均带有镜像与模型快照的不可变 pin、依赖与授权说明以及可复核的验收证据。配方多采用非特权容器、主机网络/IPC、设备访问等配置，服务默认无鉴权，需运行在受信任的私有网络中。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。