vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.
fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。
展开详情收起详情：fin-doctor：在 AI 财务问答交付前核查 IRS 与 SSA 金额事实⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-19
antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.
errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。
展开详情收起详情：errorbars：为 LLM 评测结果添加误差条与显著性检验的统计工具⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-19
ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).
eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。
展开详情收起详情：eval-floor：检测 LLM 评测任务中零信息答案的得分基线⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-19
docxology/ntqr_allotment · Research testbed pairing allotment (maximin stratified sortition, Flanigan et al. Nature 2021) with ntqr algebraic logic for ground-truth-free evaluation of noisy binary classifiers — a 96-seed grid over 3/6/9/12-judge panels and 300-item corpora, validated against live gemma3:4b reviewers via Ollama.
该项目是一个两层研究测试床：上游用 allotment 的 maximin 分层抽签引擎以四种策略（代表性抽签、意识形态选择、专长阈值、随机）组建专家小组；下游用 ntqr 的误差独立三分类器评估器，在无答案键的无标注决策数据上推断流行率与各分类器准确率，并用已知合成真值的监督 oracle 打分。项目实现 96 个种子、面板规模 3/6/9/12、300 条目语料的确定性网格扫描，包含误差相关性扫描、告警功效、统计功效分析、符号化 NTQR 公理推导，以及通过 Ollama 本地 gemma3:4b 充当合成同行评议人的实证对照层。主要结论限定在再生成的合成产物与单模型 Gemma 对照范围内。
展开详情收起详情：NTQR_allotment：无标注条件下噪声二分类器评测的专家小组组建与 NTQR 代数逻辑研究测试床⌄
★ 1 · 研究实现
GitHub
原文发布：未知收录：2026-10-19
djolex999/serbeval · Serbian-language LLM benchmark on lm-evaluation-harness: grammar, pravopis, aorist, jat, č/ć, Cyrillic/Latin — with a preliminary 12-model leaderboard
serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。
展开详情收起详情：serbeval：面向塞尔维亚语语法与正字法能力的 LLM 基准评测⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-18
elementmerc/senbonzakura · The world's top open-weight AI model workshop. Measure, uncensor and audit: refusal removal for transformer language models, with the instruments to measure what the edit cost.
Senbonzakura 是一套 Python 工具，用于对开源权重 Transformer 语言模型执行 abliteration（项目称为 uncensoring）：移除模型原有的拒绝回答行为，并用带区间与对照的测量工具评估该编辑造成的代价，包括拒绝是否真正消失、模型是否仍能识别有害内容、推理能力是否下降以及首 token 分布漂移。仓库提供 compass、score、drift、capability、validate、check、report 等命令，并附带约 6200 条有害提示的评测轨道以便离线运行。README 明确说明该编辑会永久写入权重，且生成模型仍受基础模型许可证约束。
展开详情收起详情：Senbonzakura：对开源权重语言模型进行去审查编辑并量化其代价⌄
★ 10 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
langchain-ai/agentevals · Readymade evaluators for agent trajectories
AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。
展开详情收起详情：AgentEvals：面向智能体轨迹的评估器集合⌄
★ 751 · 开发框架
GitHub
原文发布：未知收录：2026-10-17
harbor-framework/harbor · Framework for evaluating and improving agents
Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。
展开详情收起详情：Harbor：面向容器环境评估与优化智能体和语言模型的框架⌄
★ 6185 · 开发框架
GitHub
原文发布：未知收录：2026-10-17
whitecircle/rise · RISE: Red-teaming via Iterative Strategy Evolution (NeurIPS 2026)
RISE 是面向文生图模型的红队测试研究实现。它不逐个优化攻击提示词，而是让一个提示词生成 LLM 在自然语言「策略」层面做岛屿模型进化搜索，用策略所生成提示词实际绕过目标模型的图像效果来打分，并结合 VLM 评审按给定准则评价每张生成图。仓库包含完整流水线、三类类别（裸露、自残、图文暴力）配置、针对论文中多个生产级目标模型及更新版本的配置，以及本地 FLUX.2 测试床；但未包含搜索发现的攻击策略、生成图像和关键类别评审准则。
展开详情收起详情：RISE：通过迭代策略进化对文生图模型进行红队测试⌄
★ 108 · 研究实现
GitHub
原文发布：未知收录：2026-10-16
jakemanger/whatmodel · Find the best AI models you can run
whatmodel 是一个开源 AI 模型榜单工具，将 879 个模型依据 22,113 条已发布基准测试结果汇总为单一评分，并列出每个模型的 API 价格、本地运行所需内存以及运行命令。用户可以在网站或终端按自身电脑配置（内存、显存、是否有独立显卡）与预算过滤模型，覆盖 llm、图像、视频、TTS、STT 等多个类别，支持 LMArena 等基准子集筛选与自定义评分尺度。
展开详情收起详情：whatmodel：按硬件与预算筛选可本地运行的 AI 模型榜单⌄
★ 30 · 资料合集
GitHub
原文发布：未知收录：2026-10-16
Vyoma/agent-economics-lab · Reproducible evidence, cost-quality frontiers, and production feedback loops for predictive ML, generative AI, and agent systems.
Agent Economics Lab 是一个 Python 工具包，把模型与 Agent 的轨迹、独立核验的结果、完整成本和指定基线一起输入，通过重放、审计与成本-质量前沿分析，输出 SCALE、ASSIST、STOP 或 INCOMPLETE 四类决策。项目强调缺失证据即拒绝通过（fail-closed），附带公开 SWE-bench 案例、结果标注器审计语料库和生产反馈回路契约，供团队判断 Agent 是否值得扩大投入。
展开详情收起详情：Agent Economics Lab：用可复现证据评估 AI Agent 的成本质量与投产决策⌄
★ 1 · 开发框架
GitHub
原文发布：未知收录：2026-10-16
ktwu01/benchmark-radar · Track 20,710+ AI benchmark, eval, dataset, and data-quality records from 39 public sources, with linked evidence and daily updates.
Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。
展开详情收起详情：Benchmark Radar：AI 基准与评测记录的持续采集与检索数据库⌄
★ 294 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-16
HarperZ9/flywheel · Flywheel runs AI tasks with a model you choose and keeps a receipt anyone can recheck offline.
Flywheel 是一个模型无关的 AI 运行框架，可在前沿或本地模型之上，通过统一的 OpenAI 兼容接口执行 AI 任务。它把结果连同可重新推导的密封凭据一起记录下来，独立见证者可离线重跑该凭据并返回 MATCH、DRIFT 或 UNVERIFIABLE，接受路径上不含学习模型。内置 Rowan 桌面助手和权限门控的 relay 编码代理，并提供 17 个可组合 lane 以及金融、医疗、法律等检查包。
展开详情收起详情：Flywheel：在所选模型上运行 AI 任务并留下可离线复核的凭据⌄
★ 3 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-16
tafreeman/agentic-evalkit · Evaluate AI agents with repeatable tests, calibrated judge evidence, and reviewable reports.
agentic-evalkit 是一个 Python 评测工具包，用于对 AI Agent 的输出按自定义检查项打分，并生成可复核的评分证据报告。它支持命令行和 Python API，可评测 Python 代码、命令行程序和 HTTP 服务，且不绑定特定 AI 框架。评测先执行客观检查，再可选进行模型评判；内置参考评判器对相同输入返回相同结论，且仅作建议，不能批准发布。项目还提供针对 SWE-bench 的 Docker harness、Claude Agent SDK 目标，以及 MLflow 和 Langfuse 的校准门控集成等可选扩展。
展开详情收起详情：agentic-evalkit：面向 AI Agent 的可重复评测与校准评审工具⌄
★ 2 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-16
BN-KR/Tracify · Tracify is an AI observability platform that helps developers monitor, debug, and optimize AI agents in production. Trace every decision, tool call, failure, retry, latency spike, and cost in one clear view.
Tracify 是一个面向 AI Agent 的可观测性与故障防护平台，通过捕获 Agent 运行、LLM 生成、工具调用、成本、评测与失败信息，帮助团队理解发生了什么、定位并修复问题、验证修复效果并防止同类故障复发。它提供 TypeScript 与 Python SDK（包名 tracify-sdk），支持嵌套运行、自定义 span、重试与错误追踪，并配套数据集与评测器、Prompt 版本管理与部署标签、成本与运行时策略（SDK 失败开放）、区域端点与公开健康状态页面。架构上以 SDK/OTLP 接入 Next.js 摄取，经 Tinybird 存储高吞吐遥测数据、Convex 保存项目元数据与工作流状态，并输出到仪表盘。
展开详情收起详情：Tracify：面向 AI Agent 的可观测性与故障防护平台⌄
★ 5 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-16
ronish645/minilang-compiler · Can LLMs learn a programming language they've never seen? A from-scratch compiler for MiniLang, used as an uncontaminated benchmark where Claude, GPT and Qwen learn it from the spec and debug through a compiler-as-tool agent loop. MCP server included.
MiniLang 是为评测「LLM 能否只凭规范学会一门从未见过的编程语言」而设计的小型 C/JavaScript 风格语言，配套从零用 Python 编写的编译器（词法分析、递归下降解析、渐进类型检查、三地址码生成与带资源限制的沙箱解释器）、支持 Claude/GPT/本地 Qwen 的编译器即工具智能体评测基准，以及把编译器暴露给 AI 助手的 MCP 服务器。
展开详情收起详情：MiniLang：从零实现的编译器与 LLM 语言学习基准⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-16
subquadratic-ai/decision-longctx-evals · Evaluating long-context retrieval and reasoning for decision models
该项目为“决策模型”（读取状态并对固定选项集返回概率、而非生成文本的模型）提供两套长上下文评测：Decision RULER 包含 11 个合成任务（针检索、变量追踪、词计数），以多选题决策形式覆盖 64K 至 1M token；Decision LCR 基于真实文档（每份约 100K token）的 100 道多选题。项目提供 pip 安装的 dlce 命令行工具，通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率来运行评测，支持并发、多端点分发、断点续跑，并按任务平均分（RULER）或全对准确率（LCR）计分，输出逐决策的 JSON 记录。该评测是 RULER 与 AA-LCR 面向决策模型的原则性改编，分数与原基准不可直接比较。
展开详情收起详情：decision-longctx-evals：面向决策模型的长上下文检索与推理评测工具⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-16
byshivam/banking-rag-eval · Evaluation suite for a banking RAG assistant — faithfulness, hallucination & relevance scoring with CI regression gates (DeepEval · RAGAS · pytest)
该项目围绕银行政策文档构建一个 RAG 助手，并提供配套的评测套件，用于判断助手能否安全上线。评测覆盖事实准确率、对来源文档的忠实度（幻觉检测）、越界问题的正确拒答、误拒率、引用有效性、安全性（投资建议、OTP 共享、提示注入）、检索命中率与上下文精确率/召回率、答案相关性等指标，并与已批准的基线对比，在 CI 中自动给出有证据支撑的 GO / NO-GO 发布决策。评测分为两层：无需 API Key 的确定性检查，以及由 DeepEval + 大模型裁判完成的 faithfulness、answer relevancy 等打分。知识库为虚构的印度 Arya Bank 五份政策文档，黄金数据集含 24 条手工编写用例。
展开详情收起详情：banking-rag-eval：银行 RAG 助手的评测与发布门禁套件⌄
★ 1 · 开发框架
GitHub
原文发布：未知收录：2026-10-15
klauswg/jev-suite · Four decision-quality tools on Jev (TypeSafe System One): Jev answers structured questions, deterministic code keeps the final say.
jev-suite 是一套建立在 Jev（TypeSafe System One）决策模型之上的 Java 工具套件，包含 jev-proof、jev-fit、jev-fidelity、jev-rental 四个应用，分别用于判断赞助视频是否交付了约定内容、候选人相对岗位要求的差距、编辑是否保留原文信息、以及看房前需与房源代理确认的事项。共享内核 jev-kit 提供 JevClient 类型化客户端、三路判定门 NoulGate 与外部文本防提示注入清洗器。设计上坚持“Jev 判断、代码决定”，阈值与路由由单元测试覆盖的确定性 Java 代码掌握，模型不可达时降级为人工复核，评测拒绝模拟数据，无证据即失败关闭。
展开详情收起详情：jev-suite：基于 Jev 决策模型构建的四类决策质量校验工具套件⌄
★ 34 · 开发框架
GitHub
原文发布：未知收录：2026-10-15
gojiplus/sortition · Counterfactual evaluation for LLM routing policies.
sortition 是一个 Python 库与 CLI，用于对 LLM 路由策略进行反事实评估。它通过记录每次路由决策的概率（propensity）并在部分流量上探索，结合 IPS、SNIPS、DM、DR 等 off-policy 估计方法，让日志能够回答“如果换用另一个未部署的策略，会带来怎样的质量与成本结果”。项目还提供规则策略、ε-greedy/Thompson 决策、从日志训练的梯度提升策略、质量与价格权衡曲线的自动搜索、LiteLLM 集成插件与日志存储模块，并附带带已知真值的模拟器用于验证估计器。作者说明其已验证范围为模拟器与 mock 的 LiteLLM，尚未在真实生产流量中验证。
展开详情收起详情：sortition：LLM 路由策略的反事实评估与策略学习⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-15