跨栏目检索
搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
LavishSphere/patchlane · Autonomous incident response for financial systems, powered by secure AI agent sandboxes.
Patchlane 是一个面向金融系统的自主事件响应项目：当转账等服务出现资金安全缺陷时，它按欺诈规则检测异常，在 Daytona 隔离沙箱中复现攻击，由 Factory Droid 在沙箱内分析并编写修复，再把补丁应用到第二个干净沙箱，用智能体未见过的留出测试和回归测试进行验证，最后等待人工审批。项目还提供 React 仪表盘、场景构建器和 Chalk 基准评测，并给出多组种子缺陷案例的运行结果。
mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state
mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。
ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!
这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。
vibrunazo/rotomarena · A competitive Pokémon benchmark for language models: each model drafts its own team, then battles every other model on Pokémon Showdown.
RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。
vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.
fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。
antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.
errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
docxology/ntqr_allotment · Research testbed pairing allotment (maximin stratified sortition, Flanigan et al. Nature 2021) with ntqr algebraic logic for ground-truth-free evaluation of noisy binary classifiers — a 96-seed grid over 3/6/9/12-judge panels and 300-item corpora, validated against live gemma3:4b reviewers via Ollama.
该项目是一个两层研究测试床：上游用 allotment 的 maximin 分层抽签引擎以四种策略（代表性抽签、意识形态选择、专长阈值、随机）组建专家小组；下游用 ntqr 的误差独立三分类器评估器，在无答案键的无标注决策数据上推断流行率与各分类器准确率，并用已知合成真值的监督 oracle 打分。项目实现 96 个种子、面板规模 3/6/9/12、300 条目语料的确定性网格扫描，包含误差相关性扫描、告警功效、统计功效分析、符号化 NTQR 公理推导，以及通过 Ollama 本地 gemma3:4b 充当合成同行评议人的实证对照层。主要结论限定在再生成的合成产物与单模型 Gemma 对照范围内。