日文基准

simple-evals-mm：面向视觉语言模型的多任务评测框架

llm-jp/simple-evals-mm · A lightweight library for evaluating vision language models.

simple-evals-mm 是 OpenAI simple-evals 的多模态扩展，提供 lightweight、可扩展的视觉语言模型评测框架。它由三部分组成：Sampler 负责统一接入 API 模型与本地模型；Task 负责加载 40+ 个英文与日文基准并完成打分；Run 负责保存可复现的评测记录。支持 LLM 评判、选项匹配、规则与代码执行等打分方式，可复用 run id 续跑、对已存答案重新打分，并生成评测表格与排行榜。