我们如何用 Datadog 排查提示缓存未命中问题

Datadog 的工程师在检查公司内部 AI 应用的大模型费用时，发现有些应用明明开了“提示缓存”，却没能省钱。提示缓存的意思是：把重复发给模型的系统指令、工具说明、对话历史这部分内容存起来，下次直接复用，按说能降低重复内容的费用。他们先用 Datadog 的成本管理工具看各家模型供应商的账单，再用 Agent Observability 逐个追踪请求，发现两个常见原因：一是请求开头混进了会变的内容（比如当前时间），或者工具列表每次顺序不一样，开头一变，后面相同的内容就复用不上；二是应用虽然开启了缓存选项，但没把供应商需要的信息发过去，或者用了不支持的接口。文章给出的办法是把固定不变的指令放前面、把每次变化的内容挪到后面，并对工具和文件排序；文中提到这些修改有的打了补丁、写了测试，但是否真的提升了缓存命中率还需要后续请求来验证，文章没有给出最终效果数据。