Agent 与工作流01
作者在 2024 年 9 月用同一套 20 个客服任务测试两个 Claude 模型，两者都拿到 20/20 满分。但他在其中加入两个“不该批准”的退款陷阱（一张未收款发票的退款、一张金额翻倍的退款）后发现，小模型 Claude Haiku 4.5 在三种权限配置下都违规批准了全部六笔退款，而 Claude Sonnet 5 一笔都没批——成功率看起来一模一样，真正的风险行为却完全不同。10 月他重跑时，小模型突然全部拒绝了，起初以为是任务排队顺序起了作用，后来查执行记录才发现：同一个模型别名在 9 月指向 claude-haiku-4-5，10 月已被悄悄换成 claude-haiku-5-5，而他原有的成功率指标完全没报警。于是他换了个思路：故意制造八种常见故障（换弱模型、压缩上下文、撤销权限、读旧数据、注入网络错误等），看哪些指标能真正抓到问题。结果是：工具调用次数和“权限范围漂移”各抓到四个故障，任务成功率只抓到两个，token 成本只抓到一个，退款陷阱抓到零个。对读者的提醒是：只看“有没有成功”并不足以说明 Agent 在生产环境里安全可靠，得同时监控行为层面的指标；这次模型被静默升级是好事，但监控缺口本身仍然是真问题。
文中可用工具
- Claude Haiku 4.59 月测试中会用的小模型；在退款陷阱里全部违规放款
- Claude Sonnet 59 月测试中的对比模型；退款陷阱一笔都没批
- Claude Haiku 5.510 月别名悄悄指向的新小模型版本；未授权退款全部拒绝
- Claude Sonnet 5.5建立基线的模型，拥有完整管理权限，用于三次重复基准测试
- mock enterprise API模拟企业 API，覆盖票据、用户、账单等 30 个受限操作，所有调用写入审计日志
Agent 与工作流02
这篇文章讲的是企业用开源模型和 Kubernetes 来搭建智能体（能自己写代码、跑测试的 AI）的学习闭环。原来的问题是：跑模型推理、微调模型、运行智能体这三种任务对平台的要求完全不同，团队常常各建一套基础设施，结果这边 GPU 闲着、那边任务排队，而且智能体要执行自己刚写的代码，安全和密度很难兼顾。文章提出的解法是把这些当成普通云原生问题，用统一控制面分三层管理：模型层用 KServe、llm-d、KAITO 等把部署和微调变成声明式配置，Kueue、KubeRay 负责排队和分布式训练；执行层用 Kata Containers、gVisor、agent-sandbox 等做隔离，Agent Substrate 把大量空闲智能体挂起以节省成本；算力层负责把分散的 GPU 拉进集群。另外斯坦福 AI Index 2026 数据显示，截至 2026 年 3 月，最强闭源模型对最强开源模型的领先只有 3.3%。对读者来说，这意味着在很多场景下开源模型已够用，可以自己微调并持续改进。文中这些项目大多已开源，具体可用状态未逐一说明。
文中可用工具
- Qwen开源模型系列，发布在模型仓库上，可下载使用
- GLM-5开源模型，发布在模型仓库上
- Hugging Face模型仓库，用于发布和获取开源模型
- vLLM开源模型推理服务引擎，可加载下载的模型
- SGLang开源模型推理服务引擎
- KServe模型服务与调优相关的开源项目
- llm-d模型层开源项目，原文未细说具体用途
- KAITOKubernetes AI 工具链操作器，把模型及 GPU 需求声明为资源并自动调和
- Kueue负责任务排队和 gang 调度
- KubeRay编排分布式训练任务
- TauGrid微软开源的打包方案，一次 Helm 安装包含训练组件、GPU 健康监控和可观测性
- Run:ai Model Streamer把权重直接从对象存储读入 GPU 显存，加快新副本启动
Agent 与工作流03
Raindrop 原本做的是 Agent 监控，现在推出 Simulations 平台，本周四进入公开测试。问题是：开发者改一句提示词、换个模型或加个新工具后，往往不知道 Agent 在真实环境里会受什么影响，而预设的测试和评测可能漏掉没想到的故障。它的办法是用生产环境记录重建一套带状态的模拟工具、接口和数据库，让真实 Agent 代码在隔离沙箱里跑，并自动排查行为异常。它还会给模拟逼真度打分，指出哪些数据缺失，并允许通过 Model Context Protocol 补充数据源。对开发者的用处是：在合并代码前就看到改动会破坏什么。注意目前是公开测试；早期访问中已跑过 3.3 万多场模拟、覆盖 1700 多个 PR；按 PR 计费，Agent 自身模型用量初期也经 Raindrop 计费。
文中可用工具
- Simulations重建 Agent 的生产环境，在沙箱里跑改动前后的模拟测试
- Model Context Protocol让用户接入数据源，提高模拟的真实度