机器人

ERQA：面向机器人场景的多模态具身推理评测基准

embodiedreasoning/ERQA · Embodied Reasoning Question Answer (ERQA) Benchmark

ERQA 是 Google DeepMind 随 Gemini Robotics 发布一并开源的多模态具身推理评测基准，聚焦真实世界场景中的空间推理与世界知识，尤其是机器人情境。题目由图像与文本交错的单选题构成，答案以 A/B/C/D 单字母给出，共 400 道题，以 TFRecord 格式提供。仓库附带数据加载示例，以及一个轻量级评测脚本，可调用 Gemini 2.0 或 OpenAI 的多模态 API 在 ERQA 上作答并评估。