RDMA

gr8：面向 DGX Spark 的 CUDA 推理引擎

kindlingai/gr8 · A from-scratch CUDA inference engine for 1-6 DGX Sparks (GB10): GLM-5.3, GLM-5.3-Flash and DeepSeek-V4.1-Flash

gr8 是一个从零用 CUDA 编写的推理引擎，可在 1 至 6 台 DGX Spark（GB10）上服务 GLM-5.3、GLM-5.3-Flash 和 DeepSeek-V4.1-Flash，并在头节点提供 OpenAI 兼容 API。服务时不使用 vLLM、PyTorch 或 NCCL，通过自身 RDMA 实现张量并行，支持多会话长上下文、前缀复用、KV 卸载与 DeepSeek 图像输入等特性。