smithtune：在 LangSmith 轨迹上微调模型并评测部署

langchain-ai/smithtune · LangSmith Post-Training CLI

GitHub原文发布未知首次收录 2026-09-26上架 2026-09-26 07:02

ELI5：它是什么，解决什么问题

smithtune 是 LangChain 推出的后训练 CLI 工具（早期 beta），用于将 LangSmith 中记录的 agent 轨迹整理为数据集，并借助 Fireworks 或 Baseten 进行模型微调。它覆盖从轨迹拉取、数据集筛选与可选的多模型评审（agent council），到数据准备、训练、基于 judge 的基础模型与微调模型对比评测，以及在 Fireworks 或 Baseten 上部署推理端点的完整流程，并提供可供编码 agent 使用的 smithtune skill。训练、评测和部署会产生提供商费用，命令与目录格式可能在版本间变化，README 未说明具体硬件、成本与免费/商用授权条件。

# LangSmith # 训练与微调 # LLMOps # llm-as-judge # 模型部署

核心能力与快速开始

★ 18 · Python

能做什么: 提供 smithtune 命令行工具，串联后训练流程：从 LangSmith tracing 项目按 filter 拉取根运行及其完整 thread，构建并推送到 LangSmith 数据集；可选通过多模型 agent council（需 deepagents extra 与 rubric）评审轨迹；调用 prepare 进行轨迹与工具调用格式校验并按约 80/10/10 划分训练/验证/测试；通过 plan 预览、train 训练，并可选 --evaluate 使用 judge 模型在留出测试数据上比较基础模型与微调模型；结果发布到 LangSmith 生成对比链接与 teacher_agreement 等指标；支持通过 eval-plan/evaluate 单独评测或续跑；支持在 Fireworks 或 Baseten 上 deploy 推理端点及 undeploy。另提供 smithtune skill 供 Claude Code、Codex、Cursor 等编码 agent 驱动全流程。
适用场景: 在 LangSmith 中积累了大量 agent 轨迹后，用于按质量信号（如反馈分数、人工标签）筛选并构建 SFT 数据集；对筛选后的轨迹做多模型评审以评估训练数据质量；基于 Qwen 等受支持模型进行监督微调并比较微调前后的行为一致性；为应用部署微调后的模型端点；也可在记录数据充足时跳过训练直接做离线评测。
项目形态: 可直接使用的工具
部署方式: 本地 CLI 工具，通过 uv 安装（示例使用 Python 3.12 与 overrides.txt）；训练、评测和部署在 Fireworks 或 Baseten 的托管服务上进行，部署需安装 firectl（Fireworks）或 deployment extra（Baseten）。未说明自托管方式。
主要依赖: 需要设置 LANGSMITH_API_KEY（所有工作流），以及 BASETEN_API_KEY 或 FIREWORKS_API_KEY（训练、评测与 judge，需 provider 账号）；可选 agent council 需 deepagents extra 和 rubric；运行需要 LangSmith CLI 读取 trace 与数据集；付费模型调用和 GPU 容量需要 --confirm。具体硬件由部署时的 accelerator 等参数（如 H200:1）决定，README 未给出最低硬件要求。
使用限制: 项目处于早期 beta，命令与保存目录格式可能随版本变化；训练、评测和部署会产生提供商费用，端点在停止前持续计费；评测的 replay 只预测下一步响应或工具调用，不实际执行生成出的工具调用，分数衡量的是与记录行为的一致程度而非端到端任务完成，且不影响 checkpoint 选择；agent council 评审有助于评估质量但不保证训练数据质量；不使用受信任质量信号时仅按名称选 agent 或过滤错误不足以确立训练质量；未说明免费或商用授权限制（仓库采用 MIT 许可）。
许可证: MIT
最近推送: 2026-09-26 02:22

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-26 07:00 · 卡片整理：2026-09-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可用 smithtune 将 LangSmith 中记录的 agent 轨迹整理为数据集，并借助 Fireworks 或 Baseten 微调模型，随后在 LangSmith 中对比基础模型与微调模型，并可选部署推理端点供应用使用。

查看内容依据

Fine-tune models on [trajectories](https://docs.langchain.com/langsmith/observability-concepts#trajectories) recorded in LangSmith. Train with Fireworks or Baseten, compare the base and tuned models in LangSmith, then optionally deploy an endpoint for your application.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

OpenEnv：面向智能体强化学习的隔离执行环境框架

OpenEnv 是一个用于创建、部署和使用隔离执行环境的端到端框架，面向智能体强化学习后训练。它提供 Gymnasium 风格的 reset/step/state API（支持同步与异步，通过 WebSocket 连接），每个环境以 Docker 镜像形式在本地、云沙箱或 Hugging Face Space 上运行，并提供 40+ 个现成环境（游戏、代码沙箱、浏览器、金融、模拟器等）。项目支持与 TRL、Unsloth、SkyRL、ART、Oumi、torchforge、Miles 等训练框架配合，内置奖励组合与 Inspect AI 评测能力，同时可通过 CLI 脚手架创建、校验和推送自定义环境。

ai-data-evaluation：基于评分量规的 LLM 输出评测与偏好数据流水线

该项目提供一条面向 LLM 输出的完整评测流水线：手写标注的黄金集（golden set）、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验，以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度，量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度，每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。

nautilus-compass：面向 AI Agent 的开源长期记忆与可靠性层

nautilus-compass 是一个面向 AI Agent 的开源记忆与可靠性层，提供基于 BGE-m3 本地嵌入的黑盒长期记忆检索、提示级漂移检测以及跨 Agent 契约与治理能力。它可作为 MCP 插件接入 Claude Code/Desktop、Cline、Cursor、Continue.dev、Zed 等客户端，并以 nautilus-compass、assay-verify、jev-trust 等 PyPI 包形式发布，同时包含 NACRE judge、caliber-bench 等独立评判与验证组件。README 报告其在 LongMemEval-S、LOCOMO-10、EverMemBench 等基准上的表现及复现成本数据。

Code Review Bench：开源 AI 代码审查工具评测基准

该项目提供评估 AI 代码审查工具的开源基准，包含数据集、LLM 评委和完整流水线。离线基准使用来自 Sentry、Grafana、Cal.com、Discourse、Keycloak 五个开源项目的 50 个 PR 与人工核验的 173 条 golden comments；在线基准持续从 GitHub 采样近期真实 PR，通过 LLM 三步分析提取机器人建议与开发者实际修复并做匹配，输出精确率与召回率。支持按类别评分配置（Strict/Core/All）与 F-beta 权重，并附交互式仪表盘，可复现结果或评测自有工具。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。