KServe：在 Kubernetes 上标准化部署生成式与预测式 AI 推理

kserve/kserve · Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes

GitHub原文发布未知首次收录 2026-11-07上架 2026-11-07 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

KServe 是一个云原生 AI 推理平台，在 Kubernetes 上统一承载生成式与预测式模型服务，支持多框架部署、OpenAI 兼容推理协议、GPU 加速、模型缓存、KV Cache 卸载、请求级自动扩缩容，以及金丝雀发布、推理流水线、模型解释和漂移检测等能力，属于 CNCF 孵化项目。

# Kubernetes # CNCF # vLLM # 自动扩缩容 # 模型服务

核心能力与快速开始

★ 6197 · Go

能做什么: 在 Kubernetes 上统一部署和管理生成式与预测式 AI 推理服务；生成式方向支持 vLLM、llm-d 优化后端、OpenAI 兼容协议、GPU 加速、模型缓存、KV Cache 卸载、请求级自动扩缩容和 Hugging Face 模型；预测式方向支持 TensorFlow、PyTorch、scikit-learn、XGBoost、ONNX 等多框架，以及 predictor、transformer、explainer 路由、金丝雀发布、InferenceGraph 推理图、模型解释、载荷日志与漂移检测、缩容到零。
适用场景: 适合需要在 Kubernetes 集群中标准化托管 LLM 或传统机器学习模型推理的组织，用于多框架模型服务上线、生成式 AI 推理扩缩容、预测服务灰度发布、推理流水线与集成、模型可解释性与运行监控等场景。
项目形态: 开发框架
部署方式: 提供标准 Kubernetes 安装、基于 Knative 的 Serverless 安装、可选的 ModelMesh 安装以及本地快速安装；也可作为 Kubeflow 组件部署，并附有 AWS 与 OpenShift 运行指南。
主要依赖: 需要 Kubernetes 环境；生成式推理的 GPU 加速、模型缓存与 KV Cache 卸载等能力涉及硬件与资源配置，材料未给出具体型号或最低要求。
使用限制: 标准 Kubernetes 安装不支持金丝雀发布和基于请求的缩容到零；这些能力依赖 Knative 等 Serverless 部署。具体成本与资源限制材料未说明。
许可证: Apache-2.0
最近推送: 2026-11-07 02:36

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-07 07:00 · 卡片整理：2026-11-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在 Kubernetes 上部署和管理生成式与预测式 AI 模型推理服务，使用 OpenAI 兼容推理协议、GPU 加速、请求级自动扩缩容、金丝雀发布和推理流水线等能力进行模型服务开发与运维。

查看内容依据

KServe is a standardized distributed generative and predictive AI inference platform for scalable, multi-framework deployment on Kubernetes.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

KAITO：在 Kubernetes 集群中自动化部署 LLM 推理、微调与 RAG 服务

KAITO 是 Kubernetes AI Toolchain Operator，采用 CRD 与控制器模式，在 Kubernetes 集群中编排 LLM 推理、微调及 RAG 引擎部署。它通过 Workspace、InferenceSet、InferencePool 等自定义资源简化模型部署：按 GPU 实例类型与 HuggingFace 模型元数据估算显存并计算所需 GPU 数量，借助 Karpenter API 触发 GPU 节点自动扩缩容，并为 vLLM 引擎生成优化后的并行与调度参数。项目支持 LoRA 适配器、KVCache 卸载、基于 KEDA 的副本自动伸缩以及 Gateway API Inference Extension 的 KVCache 感知路由；同时提供 RAGEngine 管理 RAG 服务的 LLM 端点、嵌入服务与向量数据库，内置 FAISS，可选 Qdrant 或 Milvus，并通过 LlamaIndex 提供索引、聊天补全与检索接口。

k8s-ai-conformance：Kubernetes 平台 AI 工作负载一致性认证规范与检查清单

该项目由 CNCF 维护，定义了 Kubernetes 平台可靠运行 AI/ML 工作负载所需具备的能力，覆盖训练、推理和 Agentic 工作负载三类场景。它面向平台厂商提供一致性认证流程：在基础 Kubernetes 一致性认证之上，填写一致性检查清单、附上公开文档证据，并在 v1.37+ 推荐运行上游 AI Conformance 测试套件（e2e.log、junit.xml 或 results.json），随后通过 Pull Request 提交，由 CNCF 评审，认证有效期一年，按产品和配置区分。项目同时提供 FAQ、提交说明、条款条件以及 1.35/1.36/1.37 版本检查清单 YAML。

AI Runway：在 Kubernetes 上部署与管理大模型推理的多提供商平台

AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。

TauGrid：在 GPU Kubernetes 集群上运行和管理 AI 工作负载的云原生基础设施

TauGrid 是面向团队的云原生 AI 基础设施，用于在启用 GPU 的 Kubernetes 集群上运行、调度和监控 AI 工作负载，覆盖数据准备、分布式训练、微调和推理。它整合 tau CLI、基于 Kueue 的队列与配额准入、基于 KubeRay 的 Ray 集群编排、节点级 GPU 健康监控以及集群与工作负载可观测性，让平台团队无需逐一组装各组件，研究者也不必直接配置 Kubernetes。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。