KAITO：在 Kubernetes 集群中自动化部署 LLM 推理、微调与 RAG 服务

核心能力与快速开始

★ 1037 · Go

能做什么

以 Kubernetes Operator 方式管理 LLM 推理与微调工作负载：Workspace CRD 根据 GPU 实例类型和 HuggingFace 模型元数据估算显存需求并计算 GPU 数量，结合 Karpenter NodePool 自动供给 GPU 节点，并为 vLLM 引擎配置单节点或多节点推理的并行与调度参数。支持任意 vLLM 支持的 HuggingFace 模型、LoRA 适配器与默认启用的 KVCache 卸载。InferenceSet 管理同一模型的副本数量，依据 KEDA 及 vLLM 指标实现自动伸缩；InferencePool 为每个 InferenceSet 创建 InferencePool 与 EPP，实现 KVCache 感知路由。RAGEngine 负责创建 LLM 端点、嵌入服务与向量数据库等 RAG 组件，支持 FAISS 内存向量库、Qdrant、Milvus，以及本地或远程嵌入服务，并提供基于 LlamaIndex 的 /index、/v1/chat/completion 与 /retrieve 接口，检索端使用 RRF 混合检索。

适用场景

适合在已有 Kubernetes 集群中按需部署和扩缩容 LLM 推理服务的团队；需要以简化 CRD 方式运行 HuggingFace 模型并利用 GPU 节点自动供给的场景；需要为同一模型配置副本自动伸缩与 KVCache 感知路由的推理服务；需要在集群内快速搭建包含嵌入与向量数据库的 RAG 服务，或使用 Prefill/Decode 分离部署与多角色推理的场景；也适合通过 Helm 或 Terraform 安装核心组件并运行 CPU 模型（借助 aikit）的部署需求。

项目形态

开发框架

部署方式

需部署在 Kubernetes 集群中；核心组件可通过 Helm 或 Terraform 安装；GPU 节点供给可基于 Karpenter-core API 的节点供给器，仓库 E2E 测试中使用了开源 gpu-provisioner；团队可用其他支持的节点供给器。具体版本与配置未说明。

主要依赖

需要 Kubernetes 集群与 GPU 资源；模型需托管在 HuggingFace；当前推理引擎仅支持 vLLM；自动伸缩依赖 KEDA 及 KEDA 插件；路由集成 Gateway API Inference Extension；RAG 可选 Qdrant 或 Milvus。硬件规格、具体版本下限与资源配额未说明。

使用限制

当前仅支持 vLLM 引擎；BYO 模型仅支持托管于 HuggingFace；部分能力如 P/D 分离、RAG 输出护栏等仅在文档中提及，其配置与限制需查阅对应文档。未说明 API 成本、许可范围之外的使用限制与硬件成本。

许可证

NOASSERTION

最近推送

2026-11-06 14:07

资料检查：2026-11-07 07:00 · 卡片整理：2026-11-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在 Kubernetes 集群中部署和管理 LLM 推理、微调与 RAG 服务：通过 Workspace 等 CRD 声明 GPU 实例类型与 HuggingFace 模型 ID，由控制器估算显存、触发 GPU 节点自动扩缩容并生成 vLLM 并行调度参数；也可用 RAGEngine 搭建带向量数据库与嵌入服务的检索增强生成服务。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证