← 返回列表
推理与部署工具

Eke Hive：面向 DeepSeek/GLM/Qwen 系列的单卡混合 CPU+GPU 推理引擎

yepapa-nest/eke-hive · Engine for two MoE models only - DeepSeek-V4.1-Flash (main) and GLM-5.3-Flash - on one 96 GB GPU, experts offloaded to CPU RAM, 262K context. Pieced together from what we had (DDR4, PCIe 4); DDR5 would do better. Sleeps/wakes in seconds to share the GPU. OpenAI/Anthropic API, works behind LiteLLM.

GitHub原文发布 未知首次收录 2026-10-20上架 2026-10-20 07:00

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。
# 推理引擎# 混合专家# OpenAI 兼容 API# LLM 推理# CPU Offload

核心能力与快速开始

★ 2 · C++

能做什么
为四个指定模型系列提供推理服务；将未装入显存的专家权重和部分计算放到 CPU 与 RAM，按 HIVE_VRAM_GB 控制显存预算；支持 96/72/48/32 GB 等显存配置并记录各配置下的吞吐与首 token 延迟；支持 DeepSeek 的 Engram 表驻留 NVMe；提供秒级睡眠/唤醒以释放 GPU 显存、复用已加载权重；提供 OpenAI/Anthropic 兼容 API 并可置于 LiteLLM 之后；内置基准脚本 tools/bench_chat.py 和质量回归套件。
适用场景
在单张 96 GB 或更小显存 GPU 上运行 DeepSeek-V4.1-Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Qwen3.8-27B；在同一台机器上分时复用 GPU，在聊天模型与图像、视频、音乐等其他任务之间切换；通过 OpenAI/Anthropic 兼容接口接入现有客户端或 LiteLLM 网关；在低显存配置下以 CPU 与 RAM 承担溢出的专家计算。
项目形态
可直接使用的工具
部署方式
本地部署；README 说明以单张 RTX PRO 6000 Blackwell（96 GB）为测量环境，可用 HIVE_VRAM_GB 限显存以复现较小配置；是否支持其他 GPU 型号未说明。
主要依赖
README 记录的参考机器为 RTX PRO 6000 Blackwell 96 GB、32 核 Threadripper PRO 3975WX（Zen 2）、1 TB 8 通道 DDR4-2667、PCIe 4.0；运行 DeepSeek 时主机 RAM 约 480 GB（Engram 放 SSD 时约 300 GB），GLM 约 385 GB；项目以 C++ 实现，许可证为 MIT。其他硬件与软件依赖未说明。
使用限制
项目明确说明它不是通用引擎，仅针对这四个模型系列和一种机器类型构建；GLM-5.3-Flash 无法关闭思考模式；同时运行两个模型会共享 GPU 计算、PCIe 和 CPU 资源，导致各自变慢；性能数字来自作者的 DDR4/PCIe 4.0 环境，DDR5/PCIe 5.0 的提升仅为估计而非测量；API 成本、商用条件与服务等级未说明。
许可证
MIT
最近推送
2026-10-19 13:49
项目文档核对 README 依据 ↗

资料检查：2026-10-20 07:00 · 卡片整理：2026-10-20 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在单张 GPU 上本地部署并运行 DeepSeek-V4.1-Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Qwen3.8-27B 等模型，通过 OpenAI/Anthropic 兼容 API 与 LiteLLM 接入，用于代码生成、代码审查、排错等开发工作；可用 HIVE_VRAM_GB 设定显存预算，在显存不足时由 CPU/RAM 分担计算。

查看内容依据
项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架

DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。

Project Maya：在本地 GPU 上私有运行 GLM-5.3-Flash 大模型的推理引擎

Project Maya 是面向 GLM-5.3-Flash（321B 参数 MoE，约 18B 激活参数，上下文最高 1M tokens）的本地推理引擎与配套工具集。它把对话常用专家放在 GPU、次常用的放在内存、其余放在 NVMe SSD 上，并测量硬件自动调优，支持单卡至 16 卡、NVIDIA 与实验性 AMD/Windows。内置浏览器聊天与实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API（含工具调用）以及并发请求，并提供 Maya-S/S24/M/L 等自研量化版本。

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。