搜索归档

mobium-evals：通过 MCP 驱动 Mobium 的 Android 智能体评测框架

mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state

mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。

Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法

tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)

Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。

Awesome-LLM-Evaluation-Testing：LLM 评测与测试资源合集

ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!

这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。

orrery：用 YAML 生成带动画的云架构与系统设计图

Sagargupta16/orrery · Animated architecture and system design diagrams with official AWS, Azure, Google Cloud, Kubernetes, GitHub and IBM icons. YAML in; SVG, PNG, draw.io, React TSX and HTML out. An Agent Skill, Claude Code plugin and npm CLI. Gallery: sagargupta.online/orrery

orrery 是一个以 YAML 描述架构图和系统设计图的工具：输入一份规格文件，经校验、自动布局和渲染后，输出动画 SVG、PNG、可编辑 draw.io、React TSX 组件和独立 HTML 查看器。它内置 AWS、Azure、Google Cloud、Kubernetes、GitHub、IBM 等官方图标集，并提供图标校验、图标搜索、规格校验和按读者可见宽度评分图表可读性的审查命令。它同时提供 Agent Skill、Claude Code 插件和 npm CLI，可导入 Mermaid 流程图，还支持 ISO 5807 流程图、BPMN 2.0、UML 状态机、组织架构图、心智图和客户旅程图等业务流类型。

RotomArena：面向语言模型的宝可梦对战评测基准

vibrunazo/rotomarena · A competitive Pokémon benchmark for language models: each model drafts its own team, then battles every other model on Pokémon Showdown.

RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。

revai：面向 Git 分支的交互式 AI 代码审查 Agent Skill

jonathasrochadesouza/revai · An interaction-based code review agent skill featuring correction capabilities and full reasoning abilities, utilizing low token costs.

revai 是一个以 Agent Skill 形式安装的交互式 AI 代码审查工具，只审查 git 分支补丁中的改动行。它依据通用审查基准和按技术栈划分的作业手册（playbook）分析问题，输出结构化审查结果并生成可交互 HTML 报告（质量门禁、按严重度或文件筛选、跳过或恢复、明暗主题），然后在浏览器中自动打开。它还支持双向修复闭环：向 Agent 说出“fix CR-03”即可按 ID 修复，或从报告复制提示词粘贴到任意 Agent 会话。项目支持用 .revai/rules.md 或 CODING_STANDARDS.md 覆盖内置规则，无第三方依赖。

AI-Recruitment-Assistant：基于 n8n 的招聘智能体与人工审批工作流

freecodecampsara93/AI-Recruitment-Assistant · AI-powered recruitment agent built with n8n, Google Gemini, PostgreSQL, and Gmail for candidate search, candidate management, and automated email actions.

该项目用 n8n 编排招聘助手智能体，接入 Google Gemini 对话模型、PostgreSQL（Supabase）候选人库与 Gmail，通过工具调用完成候选人搜索、详情查询，以及待审批的状态变更和邮件请求。智能体本身不具备改数据或发邮件的权限，所有写操作以 pending 记录进入待审批表，由独立工作流定时推送给 HR 经理，经 Gmail 审批后才执行；同时提供 Webhook Header Auth、参数化 SQL 与数据库约束等安全措施。

Revera：基于双模型校验的 GitHub 拉取请求 AI 代码审查工具

VeraTools/revera · AI code review for pull requests: a second model re-checks every finding before it posts. Any model provider; App or Action.

Revera 是一个用 Rust 编写的开源代码审查工具，使用用户自行选择的 AI 模型审查 GitHub 拉取请求。它采用调查者与验证者两阶段流程：调查者阅读变更并提出缺陷候选，验证者则在全新会话中重新从代码中独立确认每条发现，才允许发布，以减少未经验证的误报。支持 OpenAI 兼容端点、OpenAI Responses、Anthropic 和 Google Gemini，可为不同角色分别配置供应商与模型，并支持有序的备用模型。可自托管为 GitHub App（支持 @mention 触发、quick/deep 模式）、GitHub Action 或本地 CLI，并能在多次推送间跟踪发现的修复与重开。仅支持 GitHub 作为发布目标，无托管服务，需自行部署并直接向模型供应商付费；README 说明其评估样本较小，仍可能漏报或误接受错误发现，需要人工审查。

Wrong Answer Labs：把 AWS 认证错题自动转化为带评分器的手动 CloudFormation 实验

jhermesn/wrong-answer-labs · Turn AWS Certification questions you got wrong into hands-on CloudFormation labs with an automated grader. An Agent Skill and Claude Code plugin.

该项目是一个面向 Claude Code 的 Agent Skill 及插件。用户把 AWS 认证练习题中的错题以文本、截图或 PDF 的形式交给 AI 编程代理后，代理会先在官方文档中确认答案，再把相关题目归纳成业务场景，并为每个场景生成一个 CloudFormation 实验环境。实验包含挑战任务和自动评分脚本 check.sh，还提供清理脚本。对于 Direct Connect、AWS Organizations 策略等难以复现的主题，则改为生成学习笔记和官方文档链接。实验生成过程会经过成本、安全和正确性自动检查，实验运行在用户自己的 AWS 账户中。

fin-doctor：在 AI 财务问答交付前核查 IRS 与 SSA 金额事实

vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.

fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。

errorbars：为 LLM 评测结果添加误差条与显著性检验的统计工具

antonsoo/errorbars · Error bars for LLM evals: clustered SEs, paired comparisons, leaderboards, and power analysis. Python + web calculator.

errorbars 是一个 Python 包兼网页计算器，用于给 LLM 评测结果补上统计不确定性：提供均值、标准误与置信区间汇总，支持配对比较、聚类稳健标准误、精确 McNemar 检验、带显著秩的排行榜以及功效分析（估计所需题目数或最小可检测效应）。可读取 lm-evaluation-harness 与 Inspect AI 的日志及 CSV/JSONL 长格式数据，基于 arXiv:2411.00640 的统计实践，帮助判断模型间的分数差距是真实提升还是噪声。

lazyagents：统一管理多个 AI 编程助手的终端界面

rogeriojunior31/lazyagents · The lazygit for AI coding agents: skills, sessions, usage, providers and hooks for Claude Code, Codex, Gemini CLI, OpenCode, Pi, Crush and Hermes Agent.

lazyagents 是一个用 Go 编写的终端界面工具，被类比为 lazygit，用来在同一个界面中管理 Claude Code、Codex、Gemini CLI、OpenCode、Pi、Crush 和 Hermes Agent 等 AI 编程助手。它提供技能库；支持检索、恢复和导出会话；可保存 API 或本地模型连接；可管理 hooks；可备份并恢复配置；还可按来源与覆盖范围查看用量、令牌和成本信息。项目同时提供 CLI 的无头操作和 JSON 输出，但各助手能力差异较大，需要查阅生成的能力矩阵；项目目前处于 pre-1.0 阶段，命令与格式可能在次版本间变化。

eval-floor：检测 LLM 评测任务中零信息答案的得分基线

ebt55/evalfloor · What a benchmark scores with nothing in it: content-free answers against each task's own majority baseline, plus a judged arm. Preregistered. Closed: 45 tasks on inspect_evals 0.24.0, 1 beats its baseline outright (bbh, a task property).

eval-floor 是一个评测完整性检验工具：它不调用任何模型，而是用一组不含题目信息的内容（空字符串、拒答、拼接所有标签、回显问题等）驱动 Inspect Evals 各任务的真实评分器和数据集，测量“无内容答案”能拿到多高分数，并与多数类基线对比。项目在 inspect_evals 0.24.0 上对 45 个可计数任务做了预先注册的确定性扫描，结果是 34 个健康、10 个因构造方式而天然并列、1 个因任务本身特性（bbh）被标记、0 个因评分器缺陷被标记；另有一个由模型判分的分支，对 7 个任务中的 3 个在 Wilson 95% 下界上标记，并给出判分模型不一致率作为对照。

NTQR_allotment：无标注条件下噪声二分类器评测的专家小组组建与 NTQR 代数逻辑研究测试床

docxology/ntqr_allotment · Research testbed pairing allotment (maximin stratified sortition, Flanigan et al. Nature 2021) with ntqr algebraic logic for ground-truth-free evaluation of noisy binary classifiers — a 96-seed grid over 3/6/9/12-judge panels and 300-item corpora, validated against live gemma3:4b reviewers via Ollama.

该项目是一个两层研究测试床：上游用 allotment 的 maximin 分层抽签引擎以四种策略（代表性抽签、意识形态选择、专长阈值、随机）组建专家小组；下游用 ntqr 的误差独立三分类器评估器，在无答案键的无标注决策数据上推断流行率与各分类器准确率，并用已知合成真值的监督 oracle 打分。项目实现 96 个种子、面板规模 3/6/9/12、300 条目语料的确定性网格扫描，包含误差相关性扫描、告警功效、统计功效分析、符号化 NTQR 公理推导，以及通过 Ollama 本地 gemma3:4b 充当合成同行评议人的实证对照层。主要结论限定在再生成的合成产物与单模型 Gemma 对照范围内。

Quorum-AI：多模型并行问答与分歧合成工具

imrohitagrawal/quorum-ai · Multi-model LLM orchestration with cost approval, source-backed synthesis, disagreement, uncertainty, and degraded-mode disclosure.

Quorum-AI 是一个基于 FastAPI 的研究问答工具：它把同一个问题并行发送给四个 LLM，再经过两轮互评或主持人评审，最后由独立的合成模型给出包含共识、分歧、来源支持、不确定性和建议五项内容的答案。它提供成本预估与分级额度控制（单次软阈值/硬上限、账户日上限、全局日上限），并通过确定性结构评测计算信任分；但信任分默认因评审模型关闭而显示未验证，引用支持仅比对来源标题与链接而不读取页面内容。结果默认不持久化，需要用户手动导出。

Oh Story：面向编程 Agent 的中文网文写作 skill 包

zenstory-ai/oh-story-claudecode · Claude Code / Codex / OpenCode agent skills for writing Chinese web novels (网文): 扫榜、拆文、写作、去AI味、封面全流程，长篇短篇都支持 | 13 skills for novel writing and long-form fiction with file-based continuity tracking. MIT.

Oh Story 是一组装进编程 Agent 的网文写作 skill（共 13 个），覆盖长篇与短篇网络小说全流程：扫榜选材、拆解爆款、搭大纲写正文、去 AI 味、生成封面图。它用文件系统作记忆，维护设定、大纲、正文与追踪，支持压缩上下文或换会话后恢复进度与伏笔；提供写前细纲与追踪检查、写后截断与常见 AI 句式检查等确定性门禁，并适配 Claude Code、Codex CLI、Google Antigravity、OpenCode 等 7 款宿主。写作使用宿主 Agent 自带模型，本地只运行 Node/Python 检查脚本；封面生成调用 GPT-Image-2。

HireSignal：AI 招聘匹配与简历改写工具

WarRinOP/hiresignal-ai · AI Recruitment Intelligence — match resumes to job descriptions, score compatibility, rewrite bullets, powered by Claude. Next.js + Supabase.

HireSignal 是一个基于 Claude 的招聘智能应用，将简历与职位描述进行匹配，给出 0–100% 匹配分、已匹配与缺失技能对比、ATS 关键词差距建议，并提供简历要点改写、录用/待定/淘汰建议及分析历史记录与报告下载。项目使用 Next.js 14、Supabase 与 Tailwind CSS，通过 /api/analyze 调用 Claude 3.5 Haiku 生成结构化结果并存入数据库。

CodeCritic Review：为 GitHub Actions 中的拉取请求提供 AI 代码审查

CodeCritic-Reviews/review-action · AI-powered pull request code review for GitHub Actions. Posts findings to PRs, optional merge gates on severity.

CodeCritic Review 是一个 GitHub Actions 动作，在拉取请求 opening 或 synchronization（打开或同步）时调用 CodeCritic API 进行 AI 代码审查，并将审查摘要作为 PR 评论发布。它提供 review_id、0-100 的质量分数和 final status 输出；可按配置等待完成，或将分数用于后续步骤，并据此设置合并门槛。材料也说明这是 AI 生成结果，可能存在误报或漏报，不能替代人工审查或专业安全审计，并且不执行代码、不访问运行时行为。

Chimeraforge：LLM 部署容量规划命令行工具

Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.

Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。

AI Agent 与 Kubernetes：在控制循环中各自的位置

这篇文章讲的是 AI Agent 和 Kubernetes 运维工具各自该干什么。Kubernetes 一直靠“控制器”这类自动程序盯着集群状态、按规则把实际状态拉回目标状态，而现在的大模型 Agent 擅长的是调查问题、收集信息、给出建议，但让它直接改集群并不可靠。文章以开源项目 kagent 为例，提出一种分工方式：Agent 只负责观察、诊断和提出具体改动方案，真正执行仍交给 Kubernetes 控制器和策略系统，改动前还要人工或策略审批，改完再验证效果。文中用 Karpenter 扩容和 Argo CD 升级 Helm chart 两个例子说明好处：团队能更快找到问题原因、拿到风险说明清楚的窄范围补丁，同时集群的稳定性仍由原有确定性逻辑保证。kagent 是 CNCF Sandbox 项目，文中未说明其生产可用程度；KubeCon 相关会议信息与工具能力无关。