AI 资源库 · 已整理 3 项

模型蒸馏

查看与模型蒸馏相关的 AI 资讯、工具、Skill、工作流和开源项目。

如何将 AI 生产反馈转化为更好的 Agent

AI Agent 上线后服务运行正常,但回答质量有没有变好?问题在于:训练模型的工程师知道什么叫“好答案”,运维团队只看服务是否在线,两边看不同的仪表盘,评估集慢慢过时也没人更新。CoreWeave 在 Fully Connected 2026 大会上发布 Forge,把运行、观察、整理数据、改进、评估五个环节放进同一个开发环境,用 CoreWeave Registry、Weights & Biases Models 等工具保留从模型版本到生产例子的完整记录,让团队能定位失败、选择改法,并在上线前证明新版本确实更好。目前 CoreWeave ARIA 和 CoreWeave Sandboxes 已正式可用,Agent Lens、Notebooks、Model Distillation 处于预览阶段;MasterClass 和 Canva 已开始使用 Forge。

文中可用工具

  • CoreWeave Forge把运行、观察、整理数据、改进和评估五个环节集中到一个开发环境
  • CoreWeave Registry管理模型、Agent 和数据集
  • Weights & Biases Models追踪实验、超参数搜索、分析和自动化工作流
  • CoreWeave Agent Lens追踪 Agent 的步骤、决策和工具调用,并监控线上流量
  • CoreWeave Notebooks提供托管的 Python notebook,用于共享评估和自定义分析
  • CoreWeave ARIA分析运行结果、提出实验建议、推荐代码改动
  • CoreWeave Sandboxes为 Agent、工具调用、强化学习和评估提供隔离的 CPU 或 GPU 环境
  • Serverless SFT无需训练集群即可用生产信号做有监督微调
  • Serverless RL让团队用自己的训练配方做强化学习实验
  • Model Distillation用大模型输出训练更小的开放权重模型,并与原模型对比打分
  • Serverless Inference访问开放权重模型的推理服务,基础设施由 CoreWeave 管理
  • Dedicated Inference在隔离基础设施上运行推理,团队控制模型权重、部署设置和 GPU 资源
☆ 收藏查看来源 ↗

OpenAI 干扰了一场协同模型蒸馏行动

OpenAI 说有人搞了一场有组织的“蒸馏”行动,想把它受保护的模型推理过程偷偷提取出来。所谓蒸馏,可以理解成用它的输出当教材,教另一个模型模仿,从而绕开直接获取模型。这次 OpenAI 出手干扰了该行动,并加强了防护。不过材料只有一句话,没有说干扰具体怎么做的、涉及哪些模型或何时发生,这些都没说明。

文中可用工具

提供的材料未提及具体可用工具。

☆ 收藏查看来源 ↗

教一个 9B 模型调查生产告警

Datadog 的工程师把 Qwen3.5-9B 微调成一个专门做“变更归因”的小模型:告警响了以后,它能推断最近哪次部署、功能开关或配置改动最可能是元凶。原本用规则筛选又快又便宜,但遇到复杂故障就不准;用 GLM-5.3 这类前沿大模型做多轮智能体调查则准得多,可每次调用 API 约 0.06 美元,全量告警跑不起。他们用 GLM-5.3 生成的 348 起内部事故调查轨迹来训练小模型,结果小模型达到 GLM-5.3 召回率的 87%,自托管每次调查成本约 0.003 美元,约为原来的二十分之一,一张 40GB A100 每周能支撑约 10 万次调查。目前这还只覆盖客户每周数百万个监控项中的一小部分,团队称会继续优化以扩大适用范围。

文中可用工具

  • Qwen3.5-9B被微调成专门的变更归因小模型
  • GLM-5.3作为教师模型生成调查轨迹,并解析事故结论提取变更标签
  • Change TrackingDatadog 功能,展示最近变更并标注可能与告警相关的改动
  • Relevant ChangesChange Tracking 中的标签页,在告警时间线上叠加最近变更
  • Model Context Protocol (MCP)把 Change Tracking 数据开放给智能体调用的协议
  • Bits InvestigationDatadog 的智能体事故调查功能,会引用 Change Tracking 捕获的变更
  • NVIDIA data flywheel blueprintNVIDIA 的数据飞轮方案,用于生成轨迹、训练小模型并循环迭代
☆ 收藏查看来源 ↗