这篇文章是 KubeCon 前瞻专栏,讲 Kubernetes 社区怎么让 GPU 更好地服务 AI。问题在于:负责把任务分配到现有机器的调度器和负责加机器的自动扩缩器各干各的,结果任务卡在排队,昂贵的 GPU 却闲着。目前有几个方向:HPE 用开源工具自动收集 Pod 重启信息并推送到 Slack,减少人工排查;AWS 提出让扩缩器更懂调度器,并用动态资源分配、工作负载感知调度和 provisioning requests 衔接两边;SIG-Autoscaling 已有公开提案,让两个环节直接对话。另外 CNCF 沙箱项目 llm-d 发布 v1.0,IBM 测试中智能体任务推理成本降低 11.5 倍、缓存复用约 98%。这些多数是提案或演示,尚未说明何时默认可用。
文中可用工具
- HPE Private Cloud AIHPE 的私有云 AI 平台,用于托管长时间运行的 AI/ML 任务
- k8s-pod-restart-info-collector开源 Kubernetes 排障工具,自动收集 Pod 重启信息并发送到 Slack
- llm-dCNCF 沙箱项目,用于在云原生环境分布式部署 AI 推理,已发布 v1.0
- dynamic resource allocation (DRA)Kubernetes 的动态资源分配机制,让扩缩器更了解 GPU 等资源需求
- provisioning requests连接调度器和扩缩器的配套机制,原文未说明具体用法
展开详情收起详情:AI 任务排队等候,GPU 却闲置:Kubernetes 有了新方案⌄
The New Stack
原文发布:2026-10-24 03:08收录:2026-10-24
Monzo 的工程师 Suhail Patel 分享了这个团队如何做到每天安全上线数百次。他们的做法是:把微服务封装成有明确规范的抽象层,按租户隔离搭建预发布环境,加入静态分析检查,并持续做性能剖析。这样一套强大的内部平台让工程师和 LLM 都能快速迭代,同时不牺牲可靠性。对读者来说,这提供了一个高频率发布同时守住稳定性的工程组织样本;不过这是演讲内容,文中没有说明具体落地效果或工具细节。
展开详情收起详情:演讲:快速前进,不破坏信任:与人类及更多角色一起持续交付⌄
InfoQ Architecture & Design
原文发布:2026-10-23 19:00收录:2026-10-24
LangChain 的 Deep Agents 框架介绍了让智能体更高效检索信息的方法。原来智能体有三类问题:搜索方式笨拙,反复打开文件或用不同措辞重复搜索,白白消耗时间和上下文;一次搜索塞进太多内容,把上下文窗口占满;以及拿到过时或不相关的信息,还可能在此基础上继续出错。它的做法是:默认使用 glob 按文件名查找、grep 搜索文件内关键词、read_file 逐页读取,不整份加载文件;结果太大时,把完整结果存成文件,只把路径和摘要交给智能体;自定义检索(如 RAG)则先检索、再存文件、由子智能体去读,主智能体只看相关内容。这样智能体能更快找到对的资料,减少无效搜索和上下文浪费。文中还提到 ls、write_file、edit_file 等内置工具,以及向量库、SQL、搜索 API、MCP 服务器等检索数据源;具体效果数据文中未说明。
文中可用工具
- Deep AgentsLangChain 的智能体框架,内置文件系统检索工具,帮助智能体高效获取上下文
- glob按文件名模式查找文件
- grep在文件内容中搜索匹配的关键词,不必先加载整个文件
- read_file每次读取文件的一页内容
- ls列出文件
- write_file写入文件
- edit_file编辑文件
- RAG基于向量库的检索工具,按语义相似度而非精确关键词查找信息
- MCP 服务器接入他人已构建的检索类工具,如文档搜索
展开详情收起详情:AI 智能体的上下文工程(智能体记忆)始于检索⌄
LangChain Blog
原文发布:2026-10-26 23:32收录:2026-10-24