推理与部署工具
AI Runway：在 Kubernetes 上部署与管理大模型推理的多提供商平台
ai-runway/airunway · ✈️ Kubernetes-native platform for deploying and managing AI inference across multiple providers
ELI5：它是什么，解决什么问题
AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。
核心能力与快速开始
★ 102 · Go
- 能做什么
- 通过 Web UI 和统一的 Kubernetes CRD（ModelDeployment）部署大语言模型，控制器自动选择引擎与提供商并创建提供商专属资源；支持浏览 HuggingFace 目录、GPU 适配检查、一键部署、实时状态/日志/Prometheus 指标、成本估算与容量参考；通过 Gateway API Inference Extension 暴露统一推理端点，并提供 Headlamp 插件。
- 适用场景
- 在 Kubernetes 集群上以声明式方式部署和管理开源大模型推理服务；跨 NVIDIA Dynamo、KubeRay、KAITO、LLM-D、直连 vLLM 等提供商统一编排；为已部署模型提供 OpenAI 兼容 API 供应用调用；进行 GPU 资源与成本规划。
- 项目形态
- 可直接使用的工具
- 部署方式
- 支持下载 release 本地运行（访问 localhost:3001），或通过 kubectl 应用 manifests 部署到 Kubernetes 集群；部署流程中包含 webhook、CRD 与可选的 dashboard UI 安装步骤。
- 主要依赖
- 需要已配置 kubectl 的 Kubernetes 集群、helm CLI，以及带 NVIDIA 驱动的 GPU 节点（KAITO 也支持仅 CPU）。
- 使用限制
- 项目仍处于积极开发阶段，API 尚未稳定；各上游提供商的安装、GPU 成本和运行限制材料未说明；实际模型是否可用取决于所选提供商与引擎。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-21 10:41
资料检查：2026-10-22 07:00 · 卡片整理：2026-10-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
在 Kubernetes 上部署和管理大语言模型推理服务：通过 Web UI 或统一的 ModelDeployment CRD 选择 HuggingFace 模型并一键部署，支持 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，并查看实时状态、日志和 Prometheus 指标，用于搭建和运维 AI 推理基础设施。
查看内容依据
AI Runway gives you a web UI and a unified Kubernetes CRD (`ModelDeployment`) to deploy models across multiple inference providers.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。