如何将 AI 生产反馈转化为更好的 Agent
这件事讲了什么
AI Agent 上线后服务运行正常，但回答质量有没有变好？问题在于：训练模型的工程师知道什么叫“好答案”，运维团队只看服务是否在线，两边看不同的仪表盘，评估集慢慢过时也没人更新。CoreWeave 在 Fully Connected 2026 大会上发布 Forge，把运行、观察、整理数据、改进、评估五个环节放进同一个开发环境，用 CoreWeave Registry、Weights & Biases Models 等工具保留从模型版本到生产例子的完整记录，让团队能定位失败、选择改法，并在上线前证明新版本确实更好。目前 CoreWeave ARIA 和 CoreWeave Sandboxes 已正式可用，Agent Lens、Notebooks、Model Distillation 处于预览阶段；MasterClass 和 Canva 已开始使用 Forge。
可以使用的工具
文中可用工具
- CoreWeave Forge把运行、观察、整理数据、改进和评估五个环节集中到一个开发环境
- CoreWeave Registry管理模型、Agent 和数据集
- Weights & Biases Models追踪实验、超参数搜索、分析和自动化工作流
- CoreWeave Agent Lens追踪 Agent 的步骤、决策和工具调用，并监控线上流量
- CoreWeave Notebooks提供托管的 Python notebook，用于共享评估和自定义分析
- CoreWeave ARIA分析运行结果、提出实验建议、推荐代码改动
- CoreWeave Sandboxes为 Agent、工具调用、强化学习和评估提供隔离的 CPU 或 GPU 环境
- Serverless SFT无需训练集群即可用生产信号做有监督微调
- Serverless RL让团队用自己的训练配方做强化学习实验
- Model Distillation用大模型输出训练更小的开放权重模型，并与原模型对比打分
- Serverless Inference访问开放权重模型的推理服务，基础设施由 CoreWeave 管理
- Dedicated Inference在隔离基础设施上运行推理，团队控制模型权重、部署设置和 GPU 资源
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。