GPU 健康

Amazon ECS 现可自动修复故障 GPU 与实例：这对 SRE 意味着什么

Amazon ECS 新增了自动修复能力，能自己发现并处理运行任务所用实例和 GPU 的硬件故障。以往 GPU 出问题往往只能表现为任务莫名失败或变慢，而实例掉线后 ECS 也难以及时替换上面的任务，这些都需要团队自己写检测和恢复脚本。现在 ECS 会持续监控 EC2 状态、实例上的 ECS 代理和容器运行时，并通过 NVIDIA DCGM 识别真正的 GPU 硬件错误，一旦确认就自动把坏实例移出并重建。对 SRE 来说，日常运维里一类原本要自己兜底的故障可以交给平台处理，自己只需在更模糊的情况下手动干预；目前该能力已在 ECS Managed Instances 和 Fargate 上线。