推理与部署AI 资源

gr8：面向 DGX Spark 的 CUDA 推理引擎

kindlingai/gr8 · A from-scratch CUDA inference engine for 1-6 DGX Sparks (GB10): GLM-5.3, GLM-5.3-Flash and DeepSeek-V4.1-Flash

GitHub原文发布未知首次收录 2026-11-08上架 2026-11-08 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

gr8 是一个从零用 CUDA 编写的推理引擎，可在 1 至 6 台 DGX Spark（GB10）上服务 GLM-5.3、GLM-5.3-Flash 和 DeepSeek-V4.1-Flash，并在头节点提供 OpenAI 兼容 API。服务时不使用 vLLM、PyTorch 或 NCCL，通过自身 RDMA 实现张量并行，支持多会话长上下文、前缀复用、KV 卸载与 DeepSeek 图像输入等特性。

# 推理引擎 # CUDA # 张量并行 # RDMA # DGX Spark

核心能力与快速开始

★ 63 · Cuda

能做什么: 从零用 CUDA 实现的大模型推理引擎，支持 GLM-5.3、GLM-5.3-Flash 与 DeepSeek-V4.1-Flash，可在 1 至 6 台 DGX Spark（GB10）上以张量并行方式运行，并通过 RoCE v2 RDMA 通信。头节点提供 OpenAI 兼容 API（/v1/chat/completions、/v1/completions、/v1/models、/health）。支持多会话并发与长上下文、前缀复用减少重复 prefill、GLM-5.3 的 KV 缓存卸载到 SSD 或远程 KV 节点，以及 DeepSeek-V4.1-Flash 的可选图像输入。附带 Supervisor 启停、状态、健康检查、smoke 测试与 bench 基准工具。
适用场景: 适合在多台 DGX Spark（GB10）集群上私有部署 GLM 或 DeepSeek 系列大模型，并以 OpenAI 兼容接口接入现有应用；适合需要长上下文多轮对话、前缀复用和多并发会话的推理场景；也适合研究 CUDA 原生推理实现与多机 RDMA 张量并行部署的团队。
项目形态: 可直接使用的工具
部署方式: 提供 Docker 镜像 ghcr.io/kindlingai/gr8 与各机型配方镜像，可用 docker run 或 Docker Compose 启动；文档另提供裸机与 Kubernetes 部署说明。
主要依赖: 需 DGX Spark 或其他 GB10 机器（sm_121a，128 GB 统一内存），一台负责一个 rank；多机需要 RoCE v2 双轨网络、TCP 7340/7341 端口，并关闭主动内存整理。自行构建需要 CUDA 13、C++20、CMake、clang/libclang-dev、rdma-core/libibverbs-dev、Rust 1.85+ 与 Python 3 venv。权重需另行下载，体积从约 86 GB 到 510.6 GB 不等。
使用限制: 项目为 Beta 发布，作者欢迎反馈问题；模型对机器数量有固定要求（GLM-5.3 为 3 至 6 台，GLM-5.3-Flash 为 1 至 4 台，DeepSeek-V4.1-Flash 为 4 台）。DeepSeek-V4.1-Flash 默认 fast 模式输出与精确模型不完全一致；KV 卸载和会话检查点属实验特性；DeepSeek-V4.1-Flash 没有设备以下的 KV 存储。作者声明 gr8 不是通用引擎。API 成本与商用授权条件未说明。
许可证: MIT
最近推送: 2026-11-08 04:59

项目文档核对 README 依据 ↗

资料检查：2026-11-08 07:00 · 卡片整理：2026-11-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

SparkInfer：面向 Blackwell GPU 的 MoE/LLM 推理运行时

SparkInfer 是一个用 C++/CUDA 编写的原生 MoE/LLM 解码推理运行时，面向消费级与边缘 Blackwell GPU（sm_120，从 RTX 到 PRO 6000），不含 Python 栈，二进制约 2.5 MB。它提供 OpenAI 兼容端点，支持文本、图像、视频输入以及 Anthropic、Ollama、LM Studio 等 API 风格，默认启用推测解码（含 DFlash2 草稿模型），并针对 Qwen3.8-27B 等模型做 NVFP4 量化与 Blackwell 原生算子优化。README 中给出了相对 llama.cpp 与 vLLM 的解码、预填充和吞吐对比数据，以及 Gittensor 上的持续优化机制。

Conflux Nova：面向 GTX 1080 Ti 等单卡的编译期固化 LLM 推理引擎

Conflux Nova 是一个用 C++/CUDA 编写的单卡 LLM 推理引擎，采用“一个二进制只服务一个模型”的编译期固化策略，省去运行期图分发与算子注册。项目以“六段契约”组织输入聊天模板、分词、计算、反分词与输出，提供多会话隔离、KV 复用、gemv4 批量 decode、ChatML/DeepSeek 双模板、可控采样与流式输出，并给出 Q4_K_M 量化下限与硬件后端接入约定。已验证模型包括 Qwen2.5-7B/1.5B 及 DeepSeek-R1-Distill-Qwen 系列，默认样例为四路角色辩论。

Eke Hive：面向 DeepSeek/GLM/Qwen 系列的单卡混合 CPU+GPU 推理引擎

Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。

Project Maya：在本地 GPU 上私有运行 GLM-5.3-Flash 大模型的推理引擎

Project Maya 是面向 GLM-5.3-Flash（321B 参数 MoE，约 18B 激活参数，上下文最高 1M tokens）的本地推理引擎与配套工具集。它把对话常用专家放在 GPU、次常用的放在内存、其余放在 NVMe SSD 上，并测量硬件自动调优，支持单卡至 16 卡、NVIDIA 与实验性 AMD/Windows。内置浏览器聊天与实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API（含工具调用）以及并发请求，并提供 Maya-S/S24/M/L 等自研量化版本。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。