评测与安全工具
simple-evals-mm：面向视觉语言模型的多任务评测框架
llm-jp/simple-evals-mm · A lightweight library for evaluating vision language models.
ELI5：它是什么，解决什么问题
simple-evals-mm 是 OpenAI simple-evals 的多模态扩展，提供 lightweight、可扩展的视觉语言模型评测框架。它由三部分组成：Sampler 负责统一接入 API 模型与本地模型；Task 负责加载 40+ 个英文与日文基准并完成打分；Run 负责保存可复现的评测记录。支持 LLM 评判、选项匹配、规则与代码执行等打分方式，可复用 run id 续跑、对已存答案重新打分，并生成评测表格与排行榜。
核心能力与快速开始
★ 5 · Python
- 能做什么
- 支持 40+ 个英文与日文视觉语言模型基准，覆盖图表与表格、通用 VQA、文档、OCR、多图、GUI、STEM 与推理、计数以及纯文本任务；通过 Sampler 统一接入 OpenRouter、OpenAI、Google Gemini、SGLang 服务模型和 Hugging Face 本地或服务模型；支持 LLM 评判、选项匹配、规则与代码执行打分，报告总体与分类别指标；以冻结 config.json 的 Run 记录模型、请求参数、推理强度、token 预算与代码版本，保存答案、推理过程、分数、token 和成本；支持断点续跑、重打分、按任务输出表格，并通过 campaign YAML 批量展开到本地或 PBS 作业。
- 适用场景
- 研究或工程团队对视觉语言模型做标准化横向评测；复现项目排行榜结果；生成带成本与 token 统计的评测记录；在日文与英文多模态基准上比较 API 模型与本地部署模型；对已有答案重新打分而不重新生成。
- 项目形态
- 开发框架
- 部署方式
- 本地 Python 环境运行，使用 uv sync 安装依赖；本地模型可通过 scripts/serve_sglang.sh 启动 OpenAI 兼容服务或使用 hf 模式；campaign 支持本地执行或提交 PBS 作业；排行榜页面由 GitHub Pages 部署。
- 主要依赖
- 需要 Python 与 uv；使用 API 模型时需在 .env 配置 OPENROUTER_API_KEY，可选 OPENAI_API_KEY、GEMINI_API_KEY；任务数据首次使用时下载，部分任务需要 gated 数据集、代码沙箱或评测容器；本地模型依赖 SGLang 或 Hugging Face 及相应 GPU，具体硬件未说明。
- 使用限制
- API 调用会产生成本，具体价格未说明；部分任务依赖 gated 数据集或额外沙箱与容器，配置复杂度未说明；对本地模型部署的硬件要求未说明；不保证所有基准任务可直接运行。
- 许可证
- Apache-2.0
- 最近推送
- 2026-10-31 11:52
资料检查：2026-11-01 07:00 · 卡片整理：2026-11-01 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
评估视觉语言模型在代码相关基准（如 HumanEval、LiveCodeBench）及多模态任务上的表现，用于模型选型或回归测试；支持通过 run id 续跑、对已存答案重新打分并生成评测表格。
查看内容依据
HumanEval](https://arxiv.org/abs/2107.03374) / [HumanEval+](https://arxiv.org/abs/2305.01210), [LiveCodeBench](https://arxiv.org/abs/2403.07974)
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。