AI 资源库 · 已整理 3 项
查看与benchmarking相关的 AI 资讯、工具、Skill、工作流和开源项目。
withmartian/code-review-benchmark
该项目提供评估 AI 代码审查工具的开源基准，包含数据集、LLM 评委和完整流水线。离线基准使用来自 Sentry、Grafana、Cal.com、Discourse、Keycloak 五个开源项目的 50 个 PR 与人工核验的 173 条 golden comments；在线基准持续从 GitHub 采样近期真实 PR，通过 LLM 三步分析提取机器人建议与开发者实际修复并做匹配，输出精确率与召回率。支持按类别评分配置（Strict/Core/All）与 F-beta 权重，并附交互式仪表盘，可复现结果或评测自有工具。
ictechgy/derailment · A harness for inducing and measuring psychopathology-like cognitive distortions in LLMs — emulation, not diagnosis.
Derailment 是一个分层测试工具（harness），用于在 LLM 聊天流水线中诱导并测量类似精神病理的认知扭曲。它通过操控临床概念对应的变量（注意力、显著性、效价、唤醒度），让同一标准探针脚本分别跑在经操控的流水线和健康基线上，输出 A/B 对照的评分报告。项目提供 18 个临床档案与 6 个对抗策略档案及健康基线，涵盖 ADHD、抑郁、精神分裂症、焦虑、双相、强迫症、PTSD、谵妄、痴呆样遗忘、解离性遗忘、反刍、快感缺失、分裂、渴求、疾病焦虑、惊恐、固着、被害观念等，配有 18 项基于转录文本的度量指标。支持离线伪 LLM、任意 OpenAI 兼容端点、本地 Ollama、订阅制 CLI 代理以及手动协议模式，另提供 LLM 作为评判者的评分、交互式聊天 REPL 和本地 Web GUI。项目明确声明这是模拟而非诊断。
metrum-ai/bench-cli · Reproducible load and performance benchmarking for AI inference endpoints
Metrum AI Bench CLI 是 Apache-2.0 许可的 Rust 命令行工具，用于对 OpenAI 兼容的 LLM、VLM、ASR 和图像生成端点做负载与性能测量，可采集延迟、TTFT、ITL/TPOT、token 吞吐、RTFx 与 WER/CER 等指标。它以客户端形式运行，需要用户自备 vLLM、vLLM-Omni 等推理服务；支持通过 SUT 声明块和结果清单生成可发布的基准结果，并可从 Hugging Face 的 metrum-ai/prompt-library 提取指定 ISL/OSL 分布的提示词集。