LangSmith Engine 新功能:红队测试与自动化测试
这件事讲了什么
LangSmith 把它的智能助手 Engine 升级到 v2,帮开发者修 Agent 更省力。过去它只能分析上线后的运行记录,找出错误和没满足的用户需求,但有些问题比如回答胡编、延迟变慢、花钱变多,人不容易发现,修好的补丁也得自己先测。这次 v2 增加“红队测试”,主动模拟攻击提前找漏洞;还能发现低效路径和性能趋势;并且会用实际输入自动验证修复方案,确认有效后再让人点一下发 PR。目前 v2 对所有 LangSmith Plus 和 Enterprise 计划开放,红队和自动验证修复处于 Private Beta,仅限已用 LangSmith Deployment 的用户。
可以使用的工具
文中可用工具
- LangSmith EngineLangSmith 平台内的智能助手,自动分析 Agent 运行记录、发现问题并给出修复建议
- LangSmith用于构建、测试和监控 LLM 应用的平台
- LangSmith Deployment部署 Agent 的环境,使 Engine 能自动验证修复
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。