AI 资源库 · 已整理 2 项
查看与可复现评测相关的 AI 资讯、工具、Skill、工作流和开源项目。
llm-jp/simple-evals-mm · A lightweight library for evaluating vision language models.
simple-evals-mm 是 OpenAI simple-evals 的多模态扩展，提供 lightweight、可扩展的视觉语言模型评测框架。它由三部分组成：Sampler 负责统一接入 API 模型与本地模型；Task 负责加载 40+ 个英文与日文基准并完成打分；Run 负责保存可复现的评测记录。支持 LLM 评判、选项匹配、规则与代码执行等打分方式，可复用 run id 续跑、对已存答案重新打分，并生成评测表格与排行榜。
rlwillen0121/identity-eval-harness · IdentityBench v3: a multi-turn benchmark testing whether LLM agents can safely run Enterprise IGA & Zero-Trust ops — connector building in a sandbox, human/NHI classification, ZSP/SoD policy, JIT access, access reviews, and JML/CAE drift — on a stateful synthetic identity graph with deterministic scoring and hard safety invariants.
IdentityBench v3 是一个多轮工具调用评测基准，用来考察 LLM Agent 能否在有状态合成身份图谱和隔离的 Python 连接器沙箱中完成企业身份治理与零信任运维任务。它覆盖连接器构建、人类与非人类身份分类、ZSP/SoD 策略、JIT 访问、访问评审以及 JML/CAE 漂移六类任务，每轮最多 12 轮、可使用 18 个工具，采用确定性评分，并设有硬性安全不变量；只要违反任一硬性不变量，该轮得分即归零。仓库提供可运行的 v3 测试框架和 v3_dev、v3_lite、v3_full 三个数据切分，并附有 22 个模型的评测结果。