llm-jp/simple-evals-mm · A lightweight library for evaluating vision language models.
simple-evals-mm 是 OpenAI simple-evals 的多模态扩展，提供 lightweight、可扩展的视觉语言模型评测框架。它由三部分组成：Sampler 负责统一接入 API 模型与本地模型；Task 负责加载 40+ 个英文与日文基准并完成打分；Run 负责保存可复现的评测记录。支持 LLM 评判、选项匹配、规则与代码执行等打分方式，可复用 run id 续跑、对已存答案重新打分，并生成评测表格与排行榜。
展开详情收起详情：simple-evals-mm：面向视觉语言模型的多任务评测框架⌄
★ 5 · 开发框架
GitHub
原文发布：未知收录：2026-11-01
cncf/k8s-ai-conformance · Kubernetes AI Conformance
该项目由 CNCF 维护，定义了 Kubernetes 平台可靠运行 AI/ML 工作负载所需具备的能力，覆盖训练、推理和 Agentic 工作负载三类场景。它面向平台厂商提供一致性认证流程：在基础 Kubernetes 一致性认证之上，填写一致性检查清单、附上公开文档证据，并在 v1.37+ 推荐运行上游 AI Conformance 测试套件（e2e.log、junit.xml 或 results.json），随后通过 Pull Request 提交，由 CNCF 评审，认证有效期一年，按产品和配置区分。项目同时提供 FAQ、提交说明、条款条件以及 1.35/1.36/1.37 版本检查清单 YAML。
展开详情收起详情：k8s-ai-conformance：Kubernetes 平台 AI 工作负载一致性认证规范与检查清单⌄
★ 312 · 资料合集
GitHub
原文发布：未知收录：2026-11-01