评测与安全综合合集

Benchmark Radar：AI 基准与评测记录的持续采集与检索数据库

ktwu01/benchmark-radar · Track 20,710+ AI benchmark, eval, dataset, and data-quality records from 39 public sources, with linked evidence and daily updates.

GitHub原文发布未知首次收录 2026-10-16上架 2026-10-16 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。

# 数据集 # benchmark # LLM 评测 # 基准评测 # 数据采集

核心能力与快速开始

★ 294 · Python

能做什么: 从 40 个公开来源（16 个直接连接器与 24 个第一方研究/工程信息源）每日采集基准相关信号，覆盖 arXiv、GitHub、Hugging Face、Crossref、OpenAlex 等；维护包含四个基准目录来源的可搜索基准目录，并保留数值分数观测与引用；提供网页仪表盘，含今日发现与每日简报、基准前沿排行榜（对比分数、发布日期与被测模型数量）、Pareto 前沿、饱和与趋势视图；提供 RSS 每日订阅、Hugging Face 数据集下载、离线查询 CLI（npx skills add ktwu01/benchmark-radar）以及可复现分析；记录每条评分对应的来源引用与测试条件。
适用场景: 研究人员与评测工程师快速发现新基准、定位基准数据集和代码并了解报告分数背后的设置；追踪特定基准（如 SWE-bench Verified）的模型分数随时间变化与饱和趋势；通过 RSS、仪表盘或离线 CLI 获取每日基准更新；下载完整目录、分数和每日发现记录用于二次分析。
项目形态: 可直接使用的工具
部署方式: 提供公开网页仪表盘 benchmark-radar.org；CLI 需通过 npx skills add ktwu01/benchmark-radar 安装，首次使用时下载数据到本地；开发者安装方式为 python -m pip install -e '.[dev]' && benchmark-radar normalize-catalog。其他部署条件未说明。
主要依赖: 材料仅说明 CLI 通过 npx 安装并在本地下载数据，开发者模式使用 Python 与 pip 可编辑安装；具体 Python 版本、依赖、硬件要求未说明。
使用限制: 商业再发布、转售、付费通讯、数据集打包或商业产品集成需事先获得 Koutian Wu 的书面许可；技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，改编需以相同条款共享；第三方来源材料仍遵循其原始条款。材料提到技术报告审视了分数比较的局限，但未列明具体限制细则。
许可证: MIT
最近推送: 2026-10-16 00:41

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-16 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

程序员在开发或评估 AI 系统时，可通过该数据库检索 AI 基准与评测记录，查看基准论文、仓库、数据集、模型分数与测试条件，并利用 CLI 或 coding agent 技能进行离线查询，辅助评测选型与结果核对。

查看内容依据

Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

产品经理在规划 AI 产品时，可借助该数据库的基准前沿排行榜、Pareto 前沿、饱和与趋势视图，了解模型能力评测与基准采用趋势，为技术选型和产品决策提供参考。

查看内容依据

项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

serbeval：面向塞尔维亚语语法与正字法能力的 LLM 基准评测

serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。

Tensor2Tensor：面向多模态任务的深度学习模型与数据集库

Tensor2Tensor（T2T）由 Google Brain 团队与社区开发，是一个汇集深度学习模型和数据集的 Python 库，覆盖数学语言理解、故事问答、图像分类与生成、语言建模、情感分析、语音识别、摘要和机器翻译等任务。它提供 t2t-datagen 数据生成、t2t-trainer 训练评估推理入口，以及命令行切换问题、模型和超参数集，并支持多 GPU 和分布式训练。项目已标记为弃用，仍维护并可接受缺陷修复，官方建议转向后继库 Trax。

DiagSafe：面向大语言模型的诊断式安全评测基准

DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。

KOKOCHI UI Agent Readability Lab：用 OpenTelemetry 观测和评估 LLM 对 HTML 结构不同的 Web UI 的解读

该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。