Kubernetes DRA 如何提升 GPU 利用率并降低成本
这件事讲了什么
Datadog 的产品经理 Kathy Lin 和技术作者 David Lentz 写了一篇文章,讲 Kubernetes 的旧设备插件模型怎么限制 GPU 使用效率。旧模型里,团队必须提前把 GPU 切好固定的分区,请求只能写数量、看不出显存大小和连接方式,结果经常是花钱买的 GPU 容量白白闲着,或者任务排队等资源。新的动态资源分配(DRA)让 Kubernetes 按每个任务的具体需求灵活挑选和分配 GPU,还能让多个任务共用同一块 GPU,把闲置容量利用起来。读者可以了解 DRA 相比旧模型好在哪,以及用 Datadog 怎么跟踪这些改进和省下的成本。文章目前是博文介绍,没有给出具体性能数字,也没有说明 DRA 功能是否已普遍可用。
可以使用的工具
文中可用工具
- Kubernetes Dynamic Resource Allocation按任务需求动态挑选和分配 GPU 等硬件,提升利用率
- Kubernetes device plugin model旧版 GPU 分配方式,把设备当作可互换的数量单位
- NVIDIA Multi-Instance GPU把一块 GPU 切成多个相互隔离的硬件实例
- Datadog跟踪 GPU 利用率改进和成本节省情况
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。