GKE Pod 快照缩短模型加载时间,将工作重心转向快照生命周期管理
这件事讲了什么
Google 为 GKE 的 Pod 快照功能发布了基准测试:启动延迟最高降低 89%,加载一个 700 亿参数的大模型只需 37 秒。过去在 Kubernetes 上冷启动 AI 模型往往要等很久,因为每次都要把模型和数据重新加载进内存。这个功能通过 gVisor 把 CPU 和 GPU 内存的状态保存下来,存进云存储,下次启动时直接恢复。不过开发者提出,快照失效可能才是更难的问题:快照只对规格哈希、机器系列以及内核和驱动版本都一致时才有效。目前只有 Google 公布的基准数据,该功能是否已正式可用、定价如何,材料未说明。
可以使用的工具
文中可用工具
- GKE Pod snapshots保存并恢复 Kubernetes Pod 的 CPU、GPU 内存状态,加快启动
- gVisor用于对 Pod 内存做检查点保存的沙箱运行时
- Cloud Storage存放 Pod 快照的云存储服务
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。