AI 资源库 · 已整理 4 项
查看与评测框架相关的 AI 资讯、工具、Skill、工作流和开源项目。
Yacine-ai-tech/RAGeval · Drop-in LLMOps evaluation & observability library — multi-judge consensus with disagreement alarm, 5 composite metric scorers, bootstrap confidence intervals, and OpenTelemetry tracing. PyPI: omnismart-rageval.
RAGeval 是一个自托管的 LLMOps 评测与可观测性库，面向 RAG 管线。它提供多评委共识评分与分歧告警、检索相关性、忠实度、成本与时延等指标，并支持 FastAPI、LangChain 等框架的装饰器方式接入。项目包含仪表盘用于查看实时共识遥测、查询日志、成本报告和告警。
egnaro9/rag-eval-lab · RAG pipeline with no third-party dependencies and a deterministic eval harness that catches hallucinations (precision@k, recall@k, citation, faithfulness), proven in CI. Optional OpenAI + pgvector backends.
一个纯 Python 标准库实现的 RAG 参考项目，覆盖 ingest→chunk→embed→store→retrieve→answer 全流程，并配有确定性评测框架（precision@k、recall@k、citation、faithfulness）。其核心价值在于用闭式指标（非 LLM 评判）检测幻觉：预埋的幻觉样例会被 faithfulness 指标标记，并由 CI 持续验证。支持 bm25、hybrid、reranker 等可插拔检索策略，并在 SciFact 基准上给出实测对比；可选接入 OpenAI 嵌入/回答与 Postgres+pgvector 存储后端。
withmartian/code-review-benchmark
该项目提供评估 AI 代码审查工具的开源基准，包含数据集、LLM 评委和完整流水线。离线基准使用来自 Sentry、Grafana、Cal.com、Discourse、Keycloak 五个开源项目的 50 个 PR 与人工核验的 173 条 golden comments；在线基准持续从 GitHub 采样近期真实 PR，通过 LLM 三步分析提取机器人建议与开发者实际修复并做匹配，输出精确率与召回率。支持按类别评分配置（Strict/Core/All）与 F-beta 权重，并附交互式仪表盘，可复现结果或评测自有工具。
frankbria/codeframe · Think → Build → Prove → Ship. The project delivery system that turns ideas into verified, deployed code. AI agents write the code — CodeFrame owns everything before and after.
CodeFRAME 是一个 Python 编写的命令行项目交付系统，围绕“Think → Build → Prove → Ship”流程，覆盖 AI 编码智能体写代码之前的需求规划与任务拆解，以及之后的验证与发布。它通过 cf prd generate 进行苏格拉底式需求发现，用 cf tasks generate 将 PRD 拆解为带依赖的原子任务，再交给 Claude Code、Codex、OpenCode、Kilocode 或内置 ReAct 智能体执行；PROOF9 九道验证门禁把缺陷固化为长期校验要求，cf pr create/merge 在证明通过后才允许合并。项目为公开测试版（0.9.3），采用 AGPL-3.0 许可，主要通过 pip/uv 安装的 cf 命令行使用，需要与所选 LLM 提供方匹配的 API Key（如 ANTHROPIC_API_KEY、OPENAI_API_KEY，本地 Ollama 无需密钥），GitHub 集成需要 GITHUB_TOKEN 与 GITHUB_REPO。