Elastic

演讲：为 Agentic AI 产品构建可复用的评估框架

Elastic 的 Susan Chang 讲述了他们公司如何把 AI 智能体（agent）的测试评估从零散、各自为政的做法，改造成一套统一、可用于生产环境的评估框架。原来的问题是：不同团队各测各的，方法随意，出了问题难以及时发现。她的解决思路包括：把“让大模型当裁判”和“写死规则判断”两种评估方式结合起来；把数据科学家常用的 Python 评估代码和生产环境用的 TypeScript 代码打通；再配合深度追踪，在复杂的 RAG（检索增强生成）和安全场景中抓出性能退步，同时不丢失业务上下文。对读者的用处是：如果你的团队也在做 AI 智能体产品，这套经验能帮你建立更靠谱、更可复用的评估流程。