llm-d

AI 任务排队等候，GPU 却闲置：Kubernetes 有了新方案

这篇文章是 KubeCon 前瞻专栏，讲 Kubernetes 社区怎么让 GPU 更好地服务 AI。问题在于：负责把任务分配到现有机器的调度器和负责加机器的自动扩缩器各干各的，结果任务卡在排队，昂贵的 GPU 却闲着。目前有几个方向：HPE 用开源工具自动收集 Pod 重启信息并推送到 Slack，减少人工排查；AWS 提出让扩缩器更懂调度器，并用动态资源分配、工作负载感知调度和 provisioning requests 衔接两边；SIG-Autoscaling 已有公开提案，让两个环节直接对话。另外 CNCF 沙箱项目 llm-d 发布 v1.0，IBM 测试中智能体任务推理成本降低 11.5 倍、缓存复用约 98%。这些多数是提案或演示，尚未说明何时默认可用。