评测与安全AI 资源

llm-syllogism：用 11000 条 WordNet 三段论评测大模型逻辑推理偏差

limengge426/llm-syllogism · AAAI 2026 Bridge · Do LLMs reason or pattern-match? 11,000 WordNet syllogisms across all 44 forms reveal shared biases in GPT-4o, Gemini, LLaMA, Qwen and DeepSeek.

GitHub原文发布未知首次收录 2026-09-28上架 2026-09-28 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。

# benchmark # llm-as-judge # 模型评估 # 推理评测 # 逻辑推理

核心能力与快速开始

★ 21 · Python

能做什么: 1) 基于 WordNet hyponym→hypernym 词链自动生成覆盖 44 种三段论形式（4 Figures × 16 Moods 中的 24 有效 + 20 无效）共 11000 条评测项，保证术语非空、句子自然；2) 将评测项转为零样本 JSON 提示（要求模型仅返回 {"valid":"Yes"或"No","why":"一句短解释"}，不启用思维链，以测默认直觉推理）；3) 以 asyncio 与 OpenAI 兼容异步客户端并发查询多模型，支持每模型并发限制（8–20 workers）、批处理、限流指数退避与重试、非法 JSON 时的原始文本回退，并按 item ID 跳过已完成项实现断点续跑；4) 内置 vendor/ 下的 WordNet 3.0 离线语料，无需 NLTK 下载；5) 输出统一 jsonl 结果，并给出跨模型相关性、有效/无效准确率差异、中项位置（Figure）与准确率关系等分析维度。
适用场景: 用于研究与评测大模型的三段论逻辑推理能力与系统性偏差：比较多个前沿模型在同一 44 形式基准上的难易分布一致性，检验模型是否存在"偏向接受无效结论"的不对称，以及中项语法主语位置对推理准确率的影响，从而探讨大模型是进行逻辑结构推理还是匹配语言表层规律；也可作为模板复用于其他需要零样本、多模型并发评测的自然语言推理基准构建。
项目形态: 研究实现
部署方式: 未说明。README 仅给出本地脚本流程：clone 仓库、pip install -r requirements.txt，依次运行 scripts/syllogism_generation.py、scripts/promptify.py，复制 .env.example 为 .env 填入 API key 后运行 scripts/run_api.py；未提及服务器、容器或在线服务部署方式。
主要依赖: README 标注 Python 3.10+；需通过 requirements.txt 安装依赖；查询模型需自备各家 API key（无 key 的模型会被跳过）；WordNet 3.0 已内置在 vendor/ 下，无需额外下载。论文未说明时延、并发规模等具体硬件条件。
使用限制: 评测为端点模型 API 调用，API 成本与配额限制未说明；评测任务限定为零样本、无思维链的单轮结论正确性判断，覆盖的是 44 种经典三段论这一特定逻辑形式，不涉及更丰富的自然逻辑与广义量词（README 将其列为开放问题）；未说明结果的可复现性条件与模型版本时效性；Paper.pdf 与 vendor/corpora/wordnet 不在 MIT 许可范围内，分别适用 AAAI 版权与 WordNet 3.0 自有许可；README 未说明是否可商用。
许可证: MIT
最近推送: 2026-09-27 08:52

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-28 07:00 · 卡片整理：2026-09-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

Ship Sense：按产品判断力对前沿大模型排名的评测基准

Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。评分采用确定性的关键词匹配而非 LLM 评委，并给出对抗性策略与随机策略的可利用性下限；仓库还维护模型排行榜、代际对比与得分历史。

rag-eval-toolkit：评估 RAG 管线的 Python 工具包

rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。

AI4Fire：评测语言模型与智能体在野火任务中的表现

AI4Fire 是一个面向野火任务的 LLM 与智能体评测基准，包含每日人员调配、野火烟雾检测、火险预报、温度相关航拍问答、火灾数据工具调用五个任务，覆盖 12 家厂商的 35 个模型。每个任务同时以裸提示与带 grounding 两种方式运行，并与非 LLM 对照基线比较，仓库内保存 77,644 条已评分响应，可离线一条命令复现论文全部主表，无需 API 凭据。

τ-Rec：面向智能体对话式推荐系统的可验证基准

τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。