评测与安全AI 资源
MakerBench HWE：面向物理世界设计的智能体基准评测
tonykoop/makerbench-hwe · An agentic benchmark for the physical world: spatial reasoning, design-for-manufacturing (DFM), and 3D-maker capability. Math-graded, not LLM-judged. MakerBench is to physical design what SWE-bench is to software.
ELI5：它是什么，解决什么问题
MakerBench HWE 是一个针对物理设计能力的智能体基准，用来评测模型的空间推理、面向制造的设计（DFM）和 3D 造物能力。任务由参数化模板生成、答案无法记忆，图形评分器直接检查导出的网格或 2D 矢量文件，而非依赖 LLM 裁判。基准分为「盲测」（文本到几何，单次评分）和「感知闭环」（允许渲染、测量并迭代）两条赛道，并按结构、几何、物理约束、DFM 四个层级逐级打分，同时输出质量连续性指标。内置本地 McMaster 风格的紧固件目录用于考察工具调用与装配匹配，并提供 BOM、工艺方案等设计档案契约。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 参数化生成空间推理、面向制造设计（DFM）与 3D 造物类评测任务；确定性几何评分器对导出的网格/2D 矢量进行打分，不依赖 LLM 评判；四层评分体系（结构、几何、物理约束、DFM）并附带质量连续性指标（质量、最小壁厚、间隙余量等）；两条赛道：盲测（文本到几何，单次评分）与感知闭环（可请求渲染、测量并迭代修正）；本地 McMaster 风格紧固件目录，考察工具调用与装配间隙匹配；支持 BOM、工艺计划、装配序列与自验证报告等设计档案契约评分；提供 CLI、结果包重新评分、静态排行榜站点与污染金丝雀标记。
- 适用场景
- 评估大模型或智能体在文本到几何的空间推理能力；对比盲测与感知闭环两种模式下模型表现差异；检验生成的零件是否满足最小壁厚、间隙、紧固件匹配等制造约束；为硬件设计与 CAD 生成方向构建可复现的评测榜单；验证评测流程（编译、评分、比对）在本地环境是否可靠。
- 项目形态
- 开发框架
- 部署方式
- 本地运行，需系统级安装 OpenSCAD（非 pip 安装）；其余为 Python 依赖与可编辑安装的 harness，可在 GitHub Actions 中 CI 运行。未说明云端托管方案。
- 主要依赖
- Python >= 3.10；系统级依赖 OpenSCAD（用于渲染/编译）；依赖 trimesh、manifold3d 等几何库（见 requirements.lock）；部分命令需要私有 oracle 子模块；使用真实模型适配器时需要对应厂商 API 密钥或已登录的订阅 CLI。
- 使用限制
- 为评测数据，明确要求不要用于训练，并带有污染金丝雀标记；oracle 为私有子模块，公开克隆无法运行 selftest --all；文档与仓库未说明运行成本、API 用量与硬件要求的具体数值。
- 许可证
- Apache-2.0
- 最近推送
- 2026-09-16 06:54
资料检查：2026-09-16 07:00 · 卡片整理：2026-09-18 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。