教一个 9B 模型调查生产告警
Datadog 的工程师把 Qwen3.5-9B 微调成一个专门做“变更归因”的小模型：告警响了以后，它能推断最近哪次部署、功能开关或配置改动最可能是元凶。原本用规则筛选又快又便宜，但遇到复杂故障就不准；用 GLM-5.3 这类前沿大模型做多轮智能体调查则准得多，可每次调用 API 约 0.06 美元，全量告警跑不起。他们用 GLM-5.3 生成的 348 起内部事故调查轨迹来训练小模型，结果小模型达到 GLM-5.3 召回率的 87%，自托管每次调查成本约 0.003 美元，约为原来的二十分之一，一张 40GB A100 每周能支撑约 10 万次调查。目前这还只覆盖客户每周数百万个监控项中的一小部分，团队称会继续优化以扩大适用范围。
文中可用工具
- Qwen3.5-9B被微调成专门的变更归因小模型
- GLM-5.3作为教师模型生成调查轨迹，并解析事故结论提取变更标签
- Change TrackingDatadog 功能，展示最近变更并标注可能与告警相关的改动
- Relevant ChangesChange Tracking 中的标签页，在告警时间线上叠加最近变更
- Model Context Protocol (MCP)把 Change Tracking 数据开放给智能体调用的协议
- Bits InvestigationDatadog 的智能体事故调查功能，会引用 Change Tracking 捕获的变更
- NVIDIA data flywheel blueprintNVIDIA 的数据飞轮方案，用于生成轨迹、训练小模型并循环迭代
评论 · 分享第一个看法