Kubernetes 能跑 AI 推理，但算得清真实成本吗？

本周 Kubernetes 生态有不少进展。KubeCon 北美 2026 新增了“AI 推理与智能体”专题，说明越来越多团队把训练好的模型放到生产环境用 Kubernetes 提供服务。招商银行用 Kubernetes 加 Kueue、KEDA、HAMi、Fluid 等开源项目，把近一万张异构加速卡中 99% 的 AI 算力统一管理，平均利用率从 35% 提升到 60% 以上，处理一百万 token 的成本降低 60%。不过 WEKA 首席 AI 官提出质疑：Kubernetes 原本的资源模型管不了请求组合、KV 缓存占用、预填充与解码比例这些决定 token 成本的状态，若不加改进，可能反而成为推理经济的负担。