AI 资源库 · 已整理 10 项
查看与llm-as-judge相关的 AI 资讯、工具、Skill、工作流和开源项目。
LacerdaTraderCode/ai-data-evaluation · Evaluation pipeline for LLM outputs: an anchored rubric, a hand-labeled golden set, an LLM judge checked for agreement against it, and preference data generation for fine-tuning.
该项目提供一条面向 LLM 输出的完整评测流水线：手写标注的黄金集（golden set）、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验，以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度，量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度，每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。
chunxiaoxx/nautilus-compass · Open memory & reliability layer for AI agents + independent judging/verification (NACRE judge, caliber-bench meta-benchmark, preregistered criteria) — by Nautilus Platform
nautilus-compass 是一个面向 AI Agent 的开源记忆与可靠性层，提供基于 BGE-m3 本地嵌入的黑盒长期记忆检索、提示级漂移检测以及跨 Agent 契约与治理能力。它可作为 MCP 插件接入 Claude Code/Desktop、Cline、Cursor、Continue.dev、Zed 等客户端，并以 nautilus-compass、assay-verify、jev-trust 等 PyPI 包形式发布，同时包含 NACRE judge、caliber-bench 等独立评判与验证组件。README 报告其在 LongMemEval-S、LOCOMO-10、EverMemBench 等基准上的表现及复现成本数据。
withmartian/code-review-benchmark
该项目提供评估 AI 代码审查工具的开源基准，包含数据集、LLM 评委和完整流水线。离线基准使用来自 Sentry、Grafana、Cal.com、Discourse、Keycloak 五个开源项目的 50 个 PR 与人工核验的 173 条 golden comments；在线基准持续从 GitHub 采样近期真实 PR，通过 LLM 三步分析提取机器人建议与开发者实际修复并做匹配，输出精确率与召回率。支持按类别评分配置（Strict/Core/All）与 F-beta 权重，并附交互式仪表盘，可复现结果或评测自有工具。
Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit
rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。
DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).
AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。
wenboxia/airadar · AIRadar · 每日定时运行的 AI 行业情报工作流
AIRadar 是一个定时运行的 AI 行业情报工作流，将 20 个分层信源经抓取、去重、打分后按综合分三路分流：高分自动发布、中等分数每周交人审批、低分丢弃留档，并沉淀为可检索的 AI 行业知识库。项目采用三维价值分（相关度/新颖度/长期价值）打分，提供每周 12 条的人工审批单、三条降级链（内容、模型、业务）和分层记忆机制，并配套数据完整性、打分路由、分类稳定性、摘要忠实度与模型选型等评测脚本。
limengge426/llm-syllogism · AAAI 2026 Bridge · Do LLMs reason or pattern-match? 11,000 WordNet syllogisms across all 44 forms reveal shared biases in GPT-4o, Gemini, LLaMA, Qwen and DeepSeek.
该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。
JuanDRF2/claude-pm-skills · AI-native Product Management workflow: Custom Claude skills for spec writing, story creation, and architecture review
该项目提供一套面向产品管理（PM）工作流的 Claude 技能集合，共 31 个技能，每个技能是一个包含 SKILL.md 的文件夹，用于指导 Claude 完成特定 PM 任务，如撰写规格、创建用户故事、架构评审、竞品分析、发布沟通、测试用例设计等。其中 idea-to-ship 作为统一入口，可判断项目所处阶段并路由到合适的技能。技能通过 Claude Code 插件方式或复制到 ~/.claude/skills/ 目录安装使用。
RyanAlberts/pmstack · Gstack for PMs. Eval Studio that you can plug-n-play anywhere.
pmstack 是一个面向产品经理的 AI 产品评测工具，通过 Eval Studio 让 PM 以客户视角阅读真实 trace，记录问题、归纳失败模式与成功模式，按阶段统计并转化为可复用的代码检查或 AI judge。项目提供网页版 Eval Studio、命令行工具以及供 Claude Code 等 agent 使用的技能，并强调 trace 与评审数据保留在本地、不自动上传。
langchain-ai/smithtune · LangSmith Post-Training CLI
smithtune 是 LangChain 推出的后训练 CLI 工具（早期 beta），用于将 LangSmith 中记录的 agent 轨迹整理为数据集，并借助 Fireworks 或 Baseten 进行模型微调。它覆盖从轨迹拉取、数据集筛选与可选的多模型评审（agent council），到数据准备、训练、基于 judge 的基础模型与微调模型对比评测，以及在 Fireworks 或 Baseten 上部署推理端点的完整流程，并提供可供编码 agent 使用的 smithtune skill。训练、评测和部署会产生提供商费用，命令与目录格式可能在版本间变化，README 未说明具体硬件、成本与免费/商用授权条件。