人工评估

为什么人类洞察是构建更好 Agent 的战略优势

LangSmith 团队发文讲怎么让人类专家参与 Agent 的开发评估。问题是 Agent 常常执行多步任务，只看最后一句回答判断好坏会漏掉中间出错的环节，自动评估也说不清“为什么好、为什么坏”。他们的办法是让领域专家查看完整的对话记录和工具调用，给每一步打分并写下理由，再把这些人给出的判断整理成可复用的评估数据，用来校准自动评估、改进在线评测、积累金标准测试集。这样团队在改 Agent 时就有据可依，而不是只凭感觉。