LLMKube：面向自托管 LLM 推理的 Kubernetes operator

defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.

GitHub原文发布未知首次收录 2026-10-22上架 2026-10-22 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

# 异构计算 # OpenAI 兼容 API # LLM 推理 # 本地 GGUF 模型 # GPU 加速

核心能力与快速开始

★ 241 · Go

能做什么: 通过 Model 与 InferenceService 自定义资源声明式部署 LLM，自动完成模型下载、缓存、GPU 调度、健康检查、扩缩容和 OpenAI 兼容 API 暴露；支持 llama.cpp、vLLM、TGI、mlx-server 运行时与多 GPU 分片；Metal Agent 可在 Apple Silicon 上以原生 macOS 进程运行 llama-server、mlx-server、vllm-swift，并将认证入口注册回 Kubernetes 集群；ModelRouter 在本地推理服务与 Anthropic/OpenAI/LiteLLM 外部后端之间执行基于数据分类和任务复杂度的路由，支持超时预算与 fail-closed；Foreman 另提供 Workload、AgenticTask、Agent、FleetNode 等 CRD 与能力感知调度，用于在自有集群上运行编码智能体流水线。
适用场景: 适合平台团队和 AI 运维团队在本地机房、混合硬件或隔离网络环境中统一管理 LLM 推理服务；适合需要把 Mac Studio 等 Apple Silicon 设备与 NVIDIA/AMD/Intel GPU 节点纳入同一 Kubernetes 控制面的 homelab 或私有集群；适合需要按数据敏感等级限制敏感数据只走本地模型、并在本地不可用时拒绝请求而不是回退云端的合规场景；也适合希望在自有硬件上批量编排编码智能体任务的团队。
项目形态: 开发框架
部署方式: 以 Kubernetes operator 形式部署，README 提供 Helm 安装命令；Apple Silicon 需额外在 macOS 主机上运行 metal-agent；具体集群规模、网络与高可用配置未说明。
主要依赖: 需要 Kubernetes 集群；CLI 可通过 Homebrew 安装；GPU 加速依赖对应硬件与驱动环境；Apple Silicon 路径需安装 llama.cpp 并运行 metal-agent；外部模型路由需配置对应凭据 Secret；硬件规格与 API 成本未说明。
使用限制: README 未给出性能上限与完整资源需求；外部提供商调用涉及账号与费用，具体成本未说明；Foreman 当前 v0.1 为线性流水线形态；项目自述不适合只想在单台笔记本上运行单个模型的用户；生产可用性与支持范围未说明。
许可证: Apache-2.0
最近推送: 2026-10-22 06:27

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-22 07:00 · 卡片整理：2026-10-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在自有 Kubernetes 集群上自托管 LLM 推理，并通过 OpenAI 兼容端点接入编码工具；Foreman 附加组件可在自有集群上编排编码智能体工作负载，执行修复 issue、运行 make fmt vet lint test 验证和审查 diff 的流水线。

查看内容依据

Foreman is an opt-in add-on that ships its own Helm chart, its own API group (`foreman.llmkube.dev`), and its own controller and node-agent binaries.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Local LLM Foundry：本地大模型运行时加载与模型管理控制台

Local LLM Foundry 是 llama.cpp 与 GGUF 推理的统一管理面板，提供模型库、硬件感知配置向导、GPU 与系统遥测、聊天工作区，并支持在 Apple Silicon 上以 Rapid-MLX 作为后端。它可发现和导入本地模型、估算显存并调优推理参数，托管 llama.cpp 与 Rapid-MLX 运行时的安装与更新，还提供 TLS、ACME、mTLS 等远程访问安全配置。

FlashMLA：DeepSeek 高性能注意力算子库，支持 NVIDIA GPU 与华为昇腾 NPU 推理

FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。

DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架

DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。

Eke Hive：面向 DeepSeek/GLM/Qwen 系列的单卡混合 CPU+GPU 推理引擎

Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。