模型服务

在扩容 GPU 池之前，先衡量实际产出

这篇文章讲的是在 Kubernetes 上跑 AI 任务的团队，常看到 GPU 全被占满、批处理队列越排越长，第一反应就是加 GPU。但作者提醒，GPU 被分配、在忙、和真正产出有价值的结果是三件不同的事，队列变长也可能是时机、服务容量或模型和硬件选型的问题。解决思路是先想清楚每个任务的截止时间和产出标准，再用错峰排队把现有四块 GPU 在两小时内跑完原本需要八块的四个任务，同时用接近真实负载的压测摸清可持续吞吐，并把 OpenCost 的成本数据和实际产出对上，算出每个合格结果花多少钱。这样读者能在花钱扩容之前，先确认现有容量是否已用足、瓶颈到底在哪。Kueue、vLLM、DistServe、OpenCost 等工具文中都有提到，具体接入方式原文未详细说明。