AI 资源库 · 已整理 2 项
查看与LLM 评审相关的 AI 资讯、工具、Skill、工作流和开源项目。
LangSmith 团队撰文介绍，智能体做长任务时，光看最终回答已不够，需要人参与评审。做法是把智能体每次尝试的完整记录（叫 trace，包括对话、工具调用等）放入标注队列，由领域专家看完整的多轮会话，而不只是单步。专家给出评分和理由后，这些判断可用来校准自动评分模型、改进线上评估器，并沉淀为持续回归测试用的基准数据集。文章给出三条原则：专家定义什么叫好、在完整上下文中评审、把人工反馈转成可复用评估数据。文中未说明具体发布时间，属方法与实践分享而非新功能发布。
navapbc/rebar · Rebar can block work until an AI plan review passes, require signed completion verification before close, and reconcile its event-sourced ticket record with Jira across CLI, Python, and MCP. GitHub is a read-only mirror. Code review runs in Gerrit.
rebar 是一个以 Git 为后端的事件溯源工单存储，把工单记录保存在仓库的 tickets 孤儿分支上，并提供 CLI、Python 库和 MCP 服务器三种使用方式。它支持原子认领与并发合并，可在开工前、关闭前和代码合并前设置可选的 LLM 评审门槛，并通过触发器式协调器与 Jira 双向同步。GitHub 仅作只读镜像，代码评审在 Gerrit 进行。