tonykoop/makerbench-hwe · An agentic benchmark for the physical world: spatial reasoning, design-for-manufacturing (DFM), and 3D-maker capability. Math-graded, not LLM-judged. MakerBench is to physical design what SWE-bench is to software.
MakerBench HWE 是一个针对物理设计能力的智能体基准，用来评测模型的空间推理、面向制造的设计（DFM）和 3D 造物能力。任务由参数化模板生成、答案无法记忆，图形评分器直接检查导出的网格或 2D 矢量文件，而非依赖 LLM 裁判。基准分为「盲测」（文本到几何，单次评分）和「感知闭环」（允许渲染、测量并迭代）两条赛道，并按结构、几何、物理约束、DFM 四个层级逐级打分，同时输出质量连续性指标。内置本地 McMaster 风格的紧固件目录用于考察工具调用与装配匹配，并提供 BOM、工艺方案等设计档案契约。
展开详情收起详情：MakerBench HWE：面向物理世界设计的智能体基准评测⌄
★ 0 · 开发框架
GitHub
原文发布：未知收录：2026-09-16
hermes-labs-ai/rule-audit · Static analyzer for AI system prompts: parses a prompt into normative rules and reports contradictions, coverage gaps, priority ambiguities, and absolute-rule edge cases - no LLM calls. Deterministic pure-Python lint with CLI, Python API, and CI exit codes. pip install rule-audit
rule-audit 是一个纯 Python 静态分析工具，将 AI 系统提示词和 Agent 指令解析为规范性规则，报告逻辑矛盾、覆盖缺口、优先级歧义、元规则悖论和绝对规则边界情况，全程不调用 LLM。它以确定性 lint 方式提供 CLI、Python API 和 CI 退出码，可用于 pre-commit 钩子在提交前审查 CLAUDE.md、AGENTS.md、SOUL.md 等提示词文件，也可作为 Claude Code、Codex、Gemini CLI、Hermes Agent 的插件使用。检测基于词法解析（句子切分、情态动词正则、关键词簇）而非语义模型，作者明确说明它只能发现候选缺陷，不能证明提示词可被利用。
展开详情收起详情：rule-audit：静态分析 AI 系统提示词中的规则冲突与覆盖缺口⌄
★ 2 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-16
HutCh1E/Skills-check · Perform automated multi-layer security analysis on AI Agent skills to detect code risks and runtime threats efficiently.
Skills-check 是一款用于检查 AI Agent 技能或插件安全风险的工具，通过静态分析、LLM 分析和沙箱分析三层检测代码中的风险。支持粘贴代码、上传文件、输入 GitHub URL 或安装命令来获取并分析技能代码，帮助用户在安装前发现反向 shell、数据窃取、代码注入等潜在威胁。
展开详情收起详情：Skills-check：AI Agent 技能的多层安全检测工具⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-16
vxcontrol/pentagi · Fully autonomous AI Agents system capable of performing complex penetration testing tasks
PentAGI 是一个基于 AI 的自动化安全测试平台，面向信息安全专业人员、研究人员和爱好者，用于执行渗透测试任务。系统采用多智能体（研究、开发、执行、编排）协作架构，运行在隔离的 Docker 沙箱中，内置 nmap、metasploit、sqlmap 等 20 多种专业安全工具，具备智能记忆系统与可选的 Neo4j 知识图谱集成、内置浏览器与多种外部搜索 API，支持 10 多种 LLM 提供商、REST/GraphQL API、PostgreSQL+pgvector 持久化存储以及 Grafana/Prometheus 监控。项目采用 MIT 许可，通过 Docker Compose 自托管部署。
展开详情收起详情：PentAGI：面向渗透测试的自主 AI Agent 系统⌄
★ 24409 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-15
SnailSploit/Claude-Red · claude-red is a curated library of offensive security skills designed for the Claude skills system. Each skill is a structured SKILL.md file that primes Claude with expert-level methodology for a specific attack surface — from SQLi to shellcode, EDR evasion to exploit development.
claude-red 是一个面向 Claude Skills 系统的进攻性安全技能库，包含 78 个按类别组织的 SKILL.md 文件，覆盖 SQL 注入、XSS、SSRF、AD 攻击、无线攻击、云安全、漏洞利用开发、模糊测试、免杀与红队行动等 23 个类别。每个技能通过对话触发按需加载，为 Claude 提供特定攻击面的专家级方法论、工具与升级路径，用于授权红队演练、漏洞赏金分诊、安全研究、CTF 准备与操作员培训。
展开详情收起详情：claude-red：为 Claude 注入红队进攻性安全方法论⌄
★ 4691 · 资料合集
GitHub
原文发布：未知收录：2026-09-15
comet-ml/opik · Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
Opik 是由 Comet 开发、Apache-2.0 许可的开源 LLM 可观测性与评测平台，覆盖 LLM 应用全生命周期：支持 LLM 调用与多步 Agent 追踪、对话记录、工具调用链路追踪；提供数据集、实验与 LLM-as-a-judge 指标（如幻觉检测、内容审核、RAG 评估）；包含 Prompt 管理与 Prompt Playground、Opik Agent Optimizer 提示词/Agent 优化、Opik Guardrails 安全实践、PyTest 集成的 CI/CD 评测，以及面向生产的监控仪表盘与在线评测规则。平台为框架无关，支持自带 SDK、OpenTelemetry 以及多种第三方框架集成，官方称设计上可承载每日 4000 万条以上 trace。仓库包含服务端、Web 应用、追踪、数据集、实验、评测、Prompt 管理、在线评测与 Agent 优化组件，可自托管，数据不离开自有环境。
展开详情收起详情：Opik：开源 LLM 可观测性与评测平台，用于 AI Agent 追踪和生产监控⌄
★ 22020 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-15