AI 资源库 · 已整理 3 项
查看与GPU 调度相关的 AI 资讯、工具、Skill、工作流和开源项目。
Nebius 的 AI 训练团队在 Terminal-Bench 类负载上做了一次实验：把一次 256 条轨迹的批次收集时间减少了 66.9%。原来在智能体强化学习训练中，模型要先完成任务、拿到结果才能学习，但任务长短不一，慢的几条会让整批训练卡住，昂贵的 GPU 常常在等便宜的沙箱和代码执行。做法是把推理引擎当成训练优化器的一部分：按整组完成而不是启动顺序来组批，让生成和训练部分重叠、缓存对话历史避免重复预填，并把基础设施故障和模型自身失败分开计分。这只是一个实验中的批次收集测量，不含训练器本身的前向反向计算，不等于完整训练提速。对读者来说，这提供了一个思路：智能体训练慢，瓶颈往往不在 GPU 算力，而在任务执行和调度这些配套环节。
这篇文章讲的是在 Kubernetes 上跑 AI 任务的团队，常看到 GPU 全被占满、批处理队列越排越长，第一反应就是加 GPU。但作者提醒，GPU 被分配、在忙、和真正产出有价值的结果是三件不同的事，队列变长也可能是时机、服务容量或模型和硬件选型的问题。解决思路是先想清楚每个任务的截止时间和产出标准，再用错峰排队把现有四块 GPU 在两小时内跑完原本需要八块的四个任务，同时用接近真实负载的压测摸清可持续吞吐，并把 OpenCost 的成本数据和实际产出对上，算出每个合格结果花多少钱。这样读者能在花钱扩容之前，先确认现有容量是否已用足、瓶颈到底在哪。Kueue、vLLM、DistServe、OpenCost 等工具文中都有提到，具体接入方式原文未详细说明。
这篇文章是 KubeCon 前瞻专栏，讲 Kubernetes 社区怎么让 GPU 更好地服务 AI。问题在于：负责把任务分配到现有机器的调度器和负责加机器的自动扩缩器各干各的，结果任务卡在排队，昂贵的 GPU 却闲着。目前有几个方向：HPE 用开源工具自动收集 Pod 重启信息并推送到 Slack，减少人工排查；AWS 提出让扩缩器更懂调度器，并用动态资源分配、工作负载感知调度和 provisioning requests 衔接两边；SIG-Autoscaling 已有公开提案，让两个环节直接对话。另外 CNCF 沙箱项目 llm-d 发布 v1.0，IBM 测试中智能体任务推理成本降低 11.5 倍、缓存复用约 98%。这些多数是提案或演示，尚未说明何时默认可用。