LLMOps

Hello Agent System：从零手写企业级 Agent 系统设计的双语课程

heaven999b/hello-agent-system · 👋 Hello Agent System — learn enterprise AI agent system design by building every production layer from scratch. 17 bilingual lessons (EN/中文) with tested exercises: tools, architectures, reliability, security, evals, distributed execution, cost, RAG, release ops. 企业级 Agent 系统设计训练营

该项目是一套中英双语的企业级 Agent 系统设计训练营，通过 32 节课从零手写 Agent 的每一层：主循环、工具、上下文、编排、可靠性、安全、可观测性、评估、并发、成本与发布，并进阶到检索、记忆、MCP、框架对照、Agent 数据与优化。课程强调不依赖 Agent 框架、每课配有离线确定性测试的练习，并在最后将同一套接口替换为 Postgres、Redis、Temporal、OpenTelemetry、LiteLLM、Cedar 等成熟组件以演示生产落地与分布式执行。

Agent Evaluation：面向 LLM Agent 的统计回归测试工具

RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.

Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。

smithtune：在 LangSmith 轨迹上微调模型并评测部署

langchain-ai/smithtune · LangSmith Post-Training CLI

smithtune 是 LangChain 推出的后训练 CLI 工具（早期 beta），用于将 LangSmith 中记录的 agent 轨迹整理为数据集，并借助 Fireworks 或 Baseten 进行模型微调。它覆盖从轨迹拉取、数据集筛选与可选的多模型评审（agent council），到数据准备、训练、基于 judge 的基础模型与微调模型对比评测，以及在 Fireworks 或 Baseten 上部署推理端点的完整流程，并提供可供编码 agent 使用的 smithtune skill。训练、评测和部署会产生提供商费用，命令与目录格式可能在版本间变化，README 未说明具体硬件、成本与免费/商用授权条件。

LangSmith Engine 新功能：红队测试与自动化测试

LangSmith 把它的智能助手 Engine 升级到 v2，帮开发者修 Agent 更省力。过去它只能分析上线后的运行记录，找出错误和没满足的用户需求，但有些问题比如回答胡编、延迟变慢、花钱变多，人不容易发现，修好的补丁也得自己先测。这次 v2 增加“红队测试”，主动模拟攻击提前找漏洞；还能发现低效路径和性能趋势；并且会用实际输入自动验证修复方案，确认有效后再让人点一下发 PR。目前 v2 对所有 LangSmith Plus 和 Enterprise 计划开放，红队和自动验证修复处于 Private Beta，仅限已用 LangSmith Deployment 的用户。