MakerBench HWE:面向物理世界设计的智能体基准评测
tonykoop/makerbench-hwe · An agentic benchmark for the physical world: spatial reasoning, design-for-manufacturing (DFM), and 3D-maker capability. Math-graded, not LLM-judged. MakerBench is to physical design what SWE-bench is to software.
MakerBench HWE 是一个针对物理设计能力的智能体基准,用来评测模型的空间推理、面向制造的设计(DFM)和 3D 造物能力。任务由参数化模板生成、答案无法记忆,图形评分器直接检查导出的网格或 2D 矢量文件,而非依赖 LLM 裁判。基准分为「盲测」(文本到几何,单次评分)和「感知闭环」(允许渲染、测量并迭代)两条赛道,并按结构、几何、物理约束、DFM 四个层级逐级打分,同时输出质量连续性指标。内置本地 McMaster 风格的紧固件目录用于考察工具调用与装配匹配,并提供 BOM、工艺方案等设计档案契约。