使用 Datadog 管理和部署 LLM 提示词
这件事讲了什么
Datadog 在 Agent Observability 中推出了 Prompt Management,帮团队集中管理大模型提示词。以前提示词常散落在代码、配置文件和笔记本里,改一个词就得跟着发版,还搞不清线上跑的是哪一版。现在提示词有固定 ID 和版本历史,可以不发应用就部署新版本,按开发/预发/生产环境分别指定版本,还能用类似功能开关的规则只对部分请求生效;出问题就切回旧版,不用回滚整个应用。配合 Prompt Tracking,可以看到每个版本被调用多少次、延迟多少、花了多少 token 和费用。目前 Python 应用支持运行时读取,需要启用 Agent Observability 才能做版本性能对比。
可以使用的工具
文中可用工具
- Prompt Management集中创建、版本化、部署和读取 LLM 提示词
- Prompt Tracking把提示词版本和实际 LLM 调用关联起来,查看用量与性能
- Datadog Agent Observability提供 LLM 调用追踪和提示词元数据,用于分析性能
- Datadog Feature Flags按属性做定向投放,决定哪些请求拿到哪个提示词版本
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。