AI 资源库 · 已整理 2 项

GKE

查看与GKE相关的 AI 资讯、工具、Skill、工作流和开源项目。

Agent 与工作流

Kubernetes 成立工作负载一致性工作组，为何对 AI 团队意义重大

Kubernetes 社区在 10 月 27 日宣布成立一个专门的工作组，要为「工作负载在 Kubernetes 上运行时的行为」制定统一标准。此前虽有测试能判断一个集群能不能跑 AI/机器学习任务，但对于具体工作负载本身没有类似标准，团队只能靠变通办法、手动摸索，或者盯着节点被清空、权限报错这类迹象来排查问题。新工作组希望补上这块空白，让不同工作负载在集群里的运行表现有一致、可检验的规范。对跑 AI 工作负载的团队来说，这意味着未来判断平台是否适合自己的任务会更有依据；不过目前只是宣布成立并征集社区意见，标准尚未发布。同期还有：TNS 与 HPE 合作发布一本关于在 Kubernetes 上运行 AI 工作负载的电子书，可立即下载；OpenTelemetry 转换语言 OTTL 达到 v1，对 traces、metrics、logs 稳定，包含在 Collector Contrib v0.164.0 及之后版本，并承诺语法和标准函数保持向后兼容。另有 AWS 架构师预告将在 KubeCon 展示用 agent 流水线实时分析工作负载并在 GPU 上共置多个模型的方案，属于演示预告，原文未说明可用时间。

文中可用工具

  • Kubernetes容器编排平台，文章讨论其上新成立的工作负载一致性工作组
  • Kubernetes AI Conformance已有测试，用于判断集群能否运行 AI 或机器学习工作负载
  • OpenTelemetry Transformation Language (OTTL)OpenTelemetry 的配置语言，可在收集器层修改、过滤和丰富遥测数据
  • Collector ContribOpenTelemetry 收集器贡献版，v0.164.0 起包含 OTTL v1
  • VPC Flow LogsGoogle Kubernetes Engine 内置功能，记录 IP、端口和协议之间的连接，帮助排查临时 Pod 的问题
# Kubernetes# GKE# 工作负载一致性# OTTL# GPU 共置
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
行业动态

GKE Pod 快照缩短模型加载时间，将工作重心转向快照生命周期管理

Google 为 GKE 的 Pod 快照功能发布了基准测试：启动延迟最高降低 89%，加载一个 700 亿参数的大模型只需 37 秒。过去在 Kubernetes 上冷启动 AI 模型往往要等很久，因为每次都要把模型和数据重新加载进内存。这个功能通过 gVisor 把 CPU 和 GPU 内存的状态保存下来，存进云存储，下次启动时直接恢复。不过开发者提出，快照失效可能才是更难的问题：快照只对规格哈希、机器系列以及内核和驱动版本都一致时才有效。目前只有 Google 公布的基准数据，该功能是否已正式可用、定价如何，材料未说明。

文中可用工具

  • GKE Pod snapshots保存并恢复 Kubernetes Pod 的 CPU、GPU 内存状态，加快启动
  • gVisor用于对 Pod 内存做检查点保存的沙箱运行时
  • Cloud Storage存放 Pod 快照的云存储服务
# Kubernetes# GKE# Pod 快照# 模型加载# gVisor
☆ 收藏查看来源 ↗
评论 · 分享第一个看法