Kubernetes 上的 GPU 是自带一切，先从账单开始
这件事讲了什么
这篇文章讲的是在 Kubernetes 上跑 GPU 工作负载时，资源计量和分摊几乎全得自己搭。CPU 和内存由内核自动按容器统计，看 Grafana 面板就够；但 GPU 默认没有按 Pod 的用量数据，NVIDIA 的 DCGM exporter 按物理卡汇报，一旦多个 Pod 共用一张卡，每个 Pod 都会显示占满全卡，加起来能变成 300%，数字好看却是错的。文章还指出 GPU 只能按整数张申请、没有超卖和右调空间，共享时算力分配在现有工具下也无法准确归属，因此建议按显存计费、把算力利用率只当参考信号。文章没有给出具体解决方案或发布时间，具体细节原文未完全说明。
可以使用的工具
文中可用工具
- Kubernetes管理和调度容器化工作负载的平台
- Grafana做资源用量可视化的仪表盘工具
- DCGM exporterNVIDIA 的 GPU 指标导出工具，默认按物理卡汇报数据
- NVIDIA_VISIBLE_DEVICES环境变量，决定容器能看到哪些 GPU
- MPSNVIDIA 的多进程服务，用于让多个任务共用一张 GPU
- MIGNVIDIA 的多实例 GPU 技术，把一张卡切成多个隔离实例
- NVMLNVIDIA 的管理库，可按进程查看显存占用
- nvidia-smi查看 GPU 状态和按进程采样的命令行工具
- vLLM推理框架，启动时会先占用大部分显存
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。