推理与部署工具
Hecate：在单台 DGX Station GB300 上混合推理与量化运行 GLM-5.3 大模型
chronarion/hecate · Hecate: GLM-5.3 (753B MoE) on one NVIDIA DGX Station GB300 (GB300 + RTX PRO 6000 + Grace), ~145-170 tok/s at concurrency 1. Hybrid inference and quantization on ExLlamaV3 + TabbyAPI.
ELI5：它是什么，解决什么问题
Hecate 是建立在 ExLlamaV3 与 TabbyAPI 之上的推理栈，通过内核、运行时模块和补丁，把 753B MoE 的 GLM-5.3 拆分到 GB300、RTX PRO 6000 与 Grace CPU 三层硬件上混合执行，并提供 OpenAI 兼容服务。项目公布了在 DGX Station GB300 上单并发解码、预填充、长上下文和与 BF16 模型 KL 散度等基准数据，附带量化权重与基准脚本。
核心能力与快速开始
★ 2 · Python
- 能做什么
- 针对 GLM-5.3（753B MoE）设计：按每层 MoE 专家热度把权重分布到 GB300 HBM、RTX PRO 6000 显存与 Grace CPU 内存，使用 int4 热层、int8 注意力/共享专家/LM head、3-bit trellis 等混合量化格式，配合 CUDA graph、MTP 投机解码、融合路由与 MoE 预填充内核，并通过 TabbyAPI 提供 OpenAI 兼容接口。README 给出解码、预填充、上下文扩展和 KL 散度基准。
- 适用场景
- 适合在单台 NVIDIA DGX Station GB300 上部署 GLM-5.3 并对外提供 OpenAI 兼容推理服务；适合需要低并发、长上下文（默认 2×256K KV，长上下文配置可达 1M 对话）的本地大模型部署；也可作为研究 GPU 与 CPU 混合专家推理、量化内核和 CUDA graph 优化的参考实现。
- 项目形态
- 可直接使用的工具
- 部署方式
- README 说明为容器形式发布，结果基于 DGX Station GB300（驱动 615、CUDA 13）；其他部署条件未说明。
- 主要依赖
- 依赖 NVIDIA DGX Station GB300 硬件组合：GB300 252 GB HBM3e、RTX PRO 6000 Blackwell 96 GB GDDR7、72 核 Grace CPU，以及 ExLlamaV3、TabbyAPI；更通用的硬件要求未说明。
- 使用限制
- 性能数据仅覆盖单台 DGX Station GB300；项目针对一到两个对话调优，4 并发起会削减 MTP 草稿，16 并发起离开 8 行解码快路径；单并发测速有约 ±10% 波动；README 未说明 API 成本或其他硬件上的可用性。
- 许可证
- MIT
- 最近推送
- 2026-11-04 08:47
资料检查：2026-11-05 07:00 · 卡片整理：2026-11-05 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
在单台 DGX Station GB300 上部署并运行 GLM-5.3（753B MoE）大模型，通过 OpenAI 兼容服务接口调用；仓库提供量化权重、基准脚本和内核/运行时补丁，可用于本地大模型推理服务的搭建与性能基准测试。
查看内容依据
Hecate serves **GLM-5.3 (753B MoE)** on a single **NVIDIA DGX Station GB300** at concurrency-1 decode speeds of **~184 tok/s**
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。