ERQA：面向机器人场景的多模态具身推理评测基准

核心能力与快速开始

★ 317 · Python

能做什么

提供 ERQA 多模态具身推理评测基准，包含 400 道图文交错单选题，覆盖空间推理与真实世界情境下的世界知识，尤其面向机器人场景。数据以 TFRecord（data/erqa.tfrecord）格式提供，每条样本包含 question、image/encoded、answer、question_type 和 visual_indices 字段。附带 loading_example.py 演示如何加载 TFRecord、解析题目/图像/答案并处理决定图像位置的 visual_indices；附带 eval_harness.py 轻量评测脚本，可对接 Gemini 2.0（git 提及 gemini-2.0-flash-exp、gemini-2.0-pro、gemini-2.0-pro-exp-02-05）与 OpenAI（如 gpt-4o-2024-11-20、gpt-4o-mini 等）多模态 API 进行答题评测，支持多 API key 与资源耗尽/连接错误的重试逻辑。

适用场景

用于评测多模态大模型在具身与机器人相关视觉问答上的表现；用于比较不同多模态 API/模型（Gemini、OpenAI）在该基准上的答题表现；用于研究图文交错输入中图像位置（visual_indices）对模型推理的影响；用于作为多模态评测流程的参考实现来搭建自有评测流程。

项目形态

研究实现

部署方式

未说明。仓库提供 Python 脚本与 TFRecord 数据文件，可本地运行；评测脚本需要访问外部多模态 API（Gemini、OpenAI），需自行配置 API key。

主要依赖

Python 环境，需安装 requirements.txt 中的依赖；使用评测脚本时需要 Gemini 或 OpenAI 的 API key，可通过环境变量、命令行参数或 key 文件提供。

使用限制

未说明。README 未给出评测脚本之外的部署限制、硬件要求或 API 调用成本信息；基准规模为 400 道题，具体覆盖范围与统计细节需参考技术报告。

许可证

CC-BY-4.0

最近推送

2025-03-13 03:53

资料检查：2026-10-15 07:00 · 卡片整理：2026-10-15 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

使用仓库提供的轻量级评测脚本，调用 Gemini 2.0 或 OpenAI 多模态 API 在 ERQA 基准上作答并评估，用于测试和排错多模态模型在具身推理任务上的表现。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证