← 返回列表

来自明天的明信片:用开源驱动智能体时代

The New Stack原文发布 2026-11-06 00:00首次收录 2026-11-06上架 2026-11-06 07:15

☆ 收藏查看原文 ↗

这件事讲了什么

这篇文章讲的是企业用开源模型和 Kubernetes 来搭建智能体(能自己写代码、跑测试的 AI)的学习闭环。原来的问题是:跑模型推理、微调模型、运行智能体这三种任务对平台的要求完全不同,团队常常各建一套基础设施,结果这边 GPU 闲着、那边任务排队,而且智能体要执行自己刚写的代码,安全和密度很难兼顾。文章提出的解法是把这些当成普通云原生问题,用统一控制面分三层管理:模型层用 KServe、llm-d、KAITO 等把部署和微调变成声明式配置,Kueue、KubeRay 负责排队和分布式训练;执行层用 Kata Containers、gVisor、agent-sandbox 等做隔离,Agent Substrate 把大量空闲智能体挂起以节省成本;算力层负责把分散的 GPU 拉进集群。另外斯坦福 AI Index 2026 数据显示,截至 2026 年 3 月,最强闭源模型对最强开源模型的领先只有 3.3%。对读者来说,这意味着在很多场景下开源模型已够用,可以自己微调并持续改进。文中这些项目大多已开源,具体可用状态未逐一说明。

可以使用的工具

文中可用工具

  • Qwen开源模型系列,发布在模型仓库上,可下载使用
  • GLM-5开源模型,发布在模型仓库上
  • Hugging Face模型仓库,用于发布和获取开源模型
  • vLLM开源模型推理服务引擎,可加载下载的模型
  • SGLang开源模型推理服务引擎
  • KServe模型服务与调优相关的开源项目
  • llm-d模型层开源项目,原文未细说具体用途
  • KAITOKubernetes AI 工具链操作器,把模型及 GPU 需求声明为资源并自动调和
  • Kueue负责任务排队和 gang 调度
  • KubeRay编排分布式训练任务
  • TauGrid微软开源的打包方案,一次 Helm 安装包含训练组件、GPU 健康监控和可观测性
  • Run:ai Model Streamer把权重直接从对象存储读入 GPU 显存,加快新副本启动
这是基于来源内容整理的摘要。原文链接失效后,本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论,阅读资讯无需注册。

还没有评论,来分享第一个看法。