KubeRay：在 Kubernetes 上运行 Ray 应用的编排工具

kuberay-project/kuberay · A toolkit to run Ray applications on Kubernetes

GitHub原文发布未知首次收录 2026-11-07上架 2026-11-07 07:02

ELI5：它是什么，解决什么问题

KubeRay 是一个开源的 Kubernetes Operator，用于简化 Ray 应用在 Kubernetes 上的部署与管理。它提供 RayCluster、RayJob 和 RayService 三个自定义资源定义，支持集群生命周期管理、自动扩缩容、容错、作业提交、零停机升级和高可用。此外还包含 kubectl 插件、API Server 和实验性 Dashboard 等可选生态组件，并与 Kubernetes 可观测性、排队系统和入口控制器等集成。

# Kubernetes # AI 基础设施 # 自定义资源 # 分布式计算 # 编排

核心能力与快速开始

★ 2759 · Go

能做什么: 提供 RayCluster、RayJob、RayService 三个自定义资源定义，用于在 Kubernetes 上管理 Ray 集群生命周期、自动扩缩容、容错、作业自动提交与清理、零停机升级和高可用。附带 kubectl 插件（Beta）、API Server（Alpha）和实验性 Dashboard 等生态组件。
适用场景: 在 Kubernetes 上运行 Ray 分布式工作负载，包括模型训练、LLM 在线推理、批量推理等；管理 Ray 集群的创建、扩缩容和升级；通过 RayJob 提交和调度作业；通过 RayService 部署高可用推理服务。
项目形态: 开发框架
部署方式: 未说明
主要依赖: 未说明
使用限制: Dashboard 为实验性，尚未生产就绪；API Server 为 Alpha，kubectl 插件为 Beta；其他部署条件、硬件和成本未说明。
许可证: Apache-2.0
最近推送: 2026-11-06 20:25

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-07 07:00 · 卡片整理：2026-11-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

TauGrid：在 GPU Kubernetes 集群上运行和管理 AI 工作负载的云原生基础设施

TauGrid 是面向团队的云原生 AI 基础设施，用于在启用 GPU 的 Kubernetes 集群上运行、调度和监控 AI 工作负载，覆盖数据准备、分布式训练、微调和推理。它整合 tau CLI、基于 Kueue 的队列与配额准入、基于 KubeRay 的 Ray 集群编排、节点级 GPU 健康监控以及集群与工作负载可观测性，让平台团队无需逐一组装各组件，研究者也不必直接配置 Kubernetes。

KAITO：在 Kubernetes 集群中自动化部署 LLM 推理、微调与 RAG 服务

KAITO 是 Kubernetes AI Toolchain Operator，采用 CRD 与控制器模式，在 Kubernetes 集群中编排 LLM 推理、微调及 RAG 引擎部署。它通过 Workspace、InferenceSet、InferencePool 等自定义资源简化模型部署：按 GPU 实例类型与 HuggingFace 模型元数据估算显存并计算所需 GPU 数量，借助 Karpenter API 触发 GPU 节点自动扩缩容，并为 vLLM 引擎生成优化后的并行与调度参数。项目支持 LoRA 适配器、KVCache 卸载、基于 KEDA 的副本自动伸缩以及 Gateway API Inference Extension 的 KVCache 感知路由；同时提供 RAGEngine 管理 RAG 服务的 LLM 端点、嵌入服务与向量数据库，内置 FAISS，可选 Qdrant 或 Milvus，并通过 LlamaIndex 提供索引、聊天补全与检索接口。

KServe：在 Kubernetes 上标准化部署生成式与预测式 AI 推理

KServe 是一个云原生 AI 推理平台，在 Kubernetes 上统一承载生成式与预测式模型服务，支持多框架部署、OpenAI 兼容推理协议、GPU 加速、模型缓存、KV Cache 卸载、请求级自动扩缩容，以及金丝雀发布、推理流水线、模型解释和漂移检测等能力，属于 CNCF 孵化项目。

langchain-ai/terraform：部署 LangSmith 自托管平台的 Terraform 模块

该仓库提供一组 Terraform 模块，用于在 AWS、Azure、GCP 和 OpenShift 上部署 LangSmith 自托管版本，覆盖网络、集群、数据库、缓存、对象存储、密钥与 DNS 等云基础设施，并通过 Helm 安装 LangSmith 应用。模块支持两阶段部署、按 minimum/dev/production/production-large 选择规模档位、按云厂商处理密钥，以及 LangGraph Platform、Agent Builder、Insights、Polly 等企业功能开关；其中 AWS 另提供可选的加固项。仓库说明主要面向使用自有云账号或 OpenShift 集群运行 LangSmith 的企业客户，部署需从 release tag 检出，并满足 Terraform ≥ 1.11.0、kubectl、helm 及相应云 CLI 等前置条件。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。