评测与安全AI 资源

AI4Fire：评测语言模型与智能体在野火任务中的表现

yzhao062/AI4Fire · Five wildfire tasks for language models and agents, each run bare and grounded and scored beside a non-LLM comparator. 77,644 stored responses; every paper table reproduces offline.

GitHub原文发布未知首次收录 2026-09-28上架 2026-09-28 09:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

AI4Fire 是一个面向野火任务的 LLM 与智能体评测基准，包含每日人员调配、野火烟雾检测、火险预报、温度相关航拍问答、火灾数据工具调用五个任务，覆盖 12 家厂商的 35 个模型。每个任务同时以裸提示与带 grounding 两种方式运行，并与非 LLM 对照基线比较，仓库内保存 77,644 条已评分响应，可离线一条命令复现论文全部主表，无需 API 凭据。

# benchmark # 模型评估 # tool-use # 智能体评测 # wildfire

核心能力与快速开始

★ 1 · Python

能做什么: 提供五个可无人工介入自动评分的野火任务（人员调配、烟雾检测、火险预报、航拍问答、火灾数据工具调用），每个模型在裸提示与 grounded 两种条件下各运行一次，并与非 LLM 对照器（持久化、常数基线、帧差检测器、日历月先验、温度规则、多数类等）比较；采用精确匹配或数值比较打分而非裁判模型，并用聚类 bootstrap 给出不确定性；仓库存储 77,644 条已评分响应、提示、原始输出与重算论文表格的脚本。
适用场景: 用于评估语言模型与智能体在野火相关任务上的表现是否优于简单非 LLM 基线；研究给模型增加上下文（检索类比、参考帧、月度气候态、热力摘要、只读 SQL 工具）是否真正带来提升；在无需模型调用或 API 密钥的情况下离线复现论文表格与图；作为构建基准时参考已记录的失败模式（如某列以 1.000 平均精度分隔留存集、部分问题可由元数据闭式规则回答、问题措辞直接给出 SQL 谓词）。
项目形态: 资料合集
部署方式: 未说明
主要依赖: 运行离线复现需 git clone 仓库并 pip install -r requirements.txt，再执行 python reproduce_tables.py；官方称该流程无需 API key、无需网络、只读取受版本控制文件，运行时间约 0.90 至 2.5 秒。pip install ai4fire 仅安装任务清单（TASKS 元组与 ai4fire 命令），运行基准仍需克隆本仓库。
使用限制: 各任务的 grounding 干预彼此不可比（每种干预只出现在一个任务上），结果均为任务条件性，不存在可报告的单一平均 grounding 效应；仓库未说明硬件要求、运行完整基准所需的模型/API 成本与限制，也未说明商业使用条件，许可证为 BSD-2-Clause。
许可证: BSD-2-Clause
最近推送: 2026-09-27 12:09

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-28 07:00 · 卡片整理：2026-09-28 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

τ-Rec：面向智能体对话式推荐系统的可验证基准

τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。

llm-syllogism：用 11000 条 WordNet 三段论评测大模型逻辑推理偏差

该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。

DiagSafe：面向大语言模型的诊断式安全评测基准

DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。

Benchmark Radar：AI 基准与评测记录的持续采集与检索数据库

Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。