AI 资源库 · 已整理 3 项
查看与LLM-as-a-Judge相关的 AI 资讯、工具、Skill、工作流和开源项目。
siinanXD/Content-Agent-Lernapp · Lern-App für die Berufsausbildung: KI-Pipeline erzeugt Lerninhalte nur aus amtlichen Quellen, mit LLM-Richter und Qualitäts-Schwelle. Next.js, Supabase, Langfuse.
这是一个面向职业教育（试点为机电与设备操作员）的学习应用，可根据一个关键词从官方来源生成并持续更新课程内容。项目采用 Next.js、Supabase 与 Langfuse 构建，用 Claude 批量生成内容、以 OpenAI mini 模型作为 LLM 评审并设置质量阈值，提供学习路径、复习、考试与结果等学习者界面，以及面向培训师的群组和来源展示。仓库还包含基于 GitHub Actions 的内容生产、测试、质量回归与自动修复等流水线。
Tencent-Hunyuan/DiagSafe · DiagSafe: diagnostic LLM safety benchmark with prompt-level rubrics (3,489 bilingual prompts, 84-label taxonomy)
DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。
Yacine-ai-tech/RAGeval · Drop-in LLMOps evaluation & observability library — multi-judge consensus with disagreement alarm, 5 composite metric scorers, bootstrap confidence intervals, and OpenTelemetry tracing. PyPI: omnismart-rageval.
RAGeval 是一个自托管的 LLMOps 评测与可观测性库，面向 RAG 管线。它提供多评委共识评分与分歧告警、检索相关性、忠实度、成本与时延等指标，并支持 FastAPI、LangChain 等框架的装饰器方式接入。项目包含仪表盘用于查看实时共识遥测、查询日志、成本报告和告警。