内容浏览

资讯

搜索中文标题、仓库名或关键词,再用分类、来源和日期缩小范围。

工具与应用

最近成功采集
当前筛选:2026-10-25 ×

在扩容 GPU 池之前,先衡量实际产出

这篇文章讲的是在 Kubernetes 上跑 AI 任务的团队,常看到 GPU 全被占满、批处理队列越排越长,第一反应就是加 GPU。但作者提醒,GPU 被分配、在忙、和真正产出有价值的结果是三件不同的事,队列变长也可能是时机、服务容量或模型和硬件选型的问题。解决思路是先想清楚每个任务的截止时间和产出标准,再用错峰排队把现有四块 GPU 在两小时内跑完原本需要八块的四个任务,同时用接近真实负载的压测摸清可持续吞吐,并把 OpenCost 的成本数据和实际产出对上,算出每个合格结果花多少钱。这样读者能在花钱扩容之前,先确认现有容量是否已用足、瓶颈到底在哪。Kueue、vLLM、DistServe、OpenCost 等工具文中都有提到,具体接入方式原文未详细说明。

文中可用工具

  • Kueue做准入控制,按配额和策略决定任务何时被放行
  • vLLM模型服务框架,其 KV-cache 占用率可反映缓存使用情况
  • DistServe说明评估服务容量时应以延迟等应用层目标为准
  • OpenCost按时间间隔统计工作负载成本,并可追踪每百万 token 的推理成本
展开详情收起详情:在扩容 GPU 池之前,先衡量实际产出
The New Stack
☆ 收藏0 条评论查看原文

AWS 称其 AI 安全智能体修复 89% 的漏洞——但有个前提

AWS 周四正式开放了名为 Continuum 的 AI 安全服务。它会自动在你的代码仓库里查找漏洞、复现问题,对照 AWS 环境验证,然后提交带修复方案的 PR。AWS 自己发布的测试显示,在 920 个 C/C++ 内存安全漏洞任务中,Continuum 有 89% 能找出并修好漏洞且不破坏原有测试,远超此前公开最高分 65.9%。不过这个分数是 AWS 自己跑的,还没第三方复现;而且只有 37.8% 的修复同时命中了测试指定的那个历史漏洞——因为智能体并不知道要找哪个洞。测试也只覆盖 C/C++ 一类问题。对开发团队来说,它可能帮忙快速发现并修掉真实漏洞,但具体修的是不是你要的那个,还需人工确认。

文中可用工具

  • ContinuumAWS 的 AI 安全智能体,自动查找并修复代码仓库中的漏洞,提交修复 PR
  • CyberGym-E2E用于评测 AI 修复漏洞能力的公开基准测试,含 139 个开源项目和 920 个任务
展开详情收起详情:AWS 称其 AI 安全智能体修复 89% 的漏洞——但有个前提
The New Stack
☆ 收藏0 条评论查看原文