跨栏目检索
搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。
embodiedreasoning/ERQA · Embodied Reasoning Question Answer (ERQA) Benchmark
ERQA 是 Google DeepMind 随 Gemini Robotics 发布一并开源的多模态具身推理评测基准，聚焦真实世界场景中的空间推理与世界知识，尤其是机器人情境。题目由图像与文本交错的单选题构成，答案以 A/B/C/D 单字母给出，共 400 道题，以 TFRecord 格式提供。仓库附带数据加载示例，以及一个轻量级评测脚本，可调用 Gemini 2.0 或 OpenAI 的多模态 API 在 ERQA 上作答并评估。
LacerdaTraderCode/ai-data-evaluation · Evaluation pipeline for LLM outputs: an anchored rubric, a hand-labeled golden set, an LLM judge checked for agreement against it, and preference data generation for fine-tuning.
该项目提供一条面向 LLM 输出的完整评测流水线：手写标注的黄金集（golden set）、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验，以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度，量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度，每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。
NVIDIA/swe-serve · SWE-Serve: an agentic benchmark of 53 production inference-engineering tasks derived from merged SGLang pull requests, run with Harbor.
SWE-Serve 是 NVIDIA 发布的智能体基准，包含 53 个源自 SGLang 已合并 PR 的生产推理工程任务（41 个 H100 GPU 任务与 12 个 CPU 任务），借助 Harbor 运行，考察模型/智能体在端到端执行、持久状态与并发请求下对推理系统的正确性改造能力。仓库以冻结基准发布形式提供任务目录、参考解与验证器，并支持封闭书本模式（closed-book）以防智能体查阅上游 PR，另有排行榜与论文链接。
vishalhabib99/vishalhabib99 · Vishal Habib: AI Product Manager. Agent evals, guardrails and MCP trust tooling, built in the open.
这是 Vishal Habib 的个人 GitHub 仓库，汇集其在开放环境下构建的智能体评测、护栏与 MCP 信任相关工具与案例。内容包括 MCP 服务器诊断（mcp-doctor）、模糊测试（mcp-fuzz）、现实性校验（mcp-reality-check）、信任检查（mcp-trust-check），以及面向 AI 产品经理的技能集合（ai-pm-skills）、智能体产品手册（agentic-product-playbook）和产品案例研究（ai-pm-portfolio）。同时包含金融科技场景下的答案核验（retirement-answer-check）、电商列表声明核验（listing-claim-check）、智能体交接检查（agent-handoff-check）等项目，以及公开的评测报告、红队测试结果和写作链接。
stanleyyoga123/IncidentBench · A benchmark and evaluation platform for AI-driven Kubernetes incident response, with reproducible fault injection, evidence-based grading, and reference agents for diagnosis, remediation, and learning.
IncidentBench 是一个将 Kubernetes 故障响应转化为可复现实验的基准与评测平台。它部署微服务应用、生成用户流量、注入受控故障，并记录故障响应系统的调查与处置过程。平台包含异常检测、根因分析、受控修复、验证与学习的参考系统，并可通过生命周期适配器接入其他响应系统，复用负载、故障场景、证据采集与评分流水线。内置标准套件覆盖三个微服务应用共 69 个场景，涵盖节点与 Pod 资源压力、网络故障与容量损失等故障族，提供报告、时间线与应用对比。
wangxiaoyang0412/consistency-illusion · [EMNLP 2026 Main] The Consistency Illusion: CARA metrics for cross-agent reasoning alignment in multi-agent LLM debate, and the Grounded Debate Protocol (GDP) for medical QA
该项目是 EMNLP 2026 论文《The Consistency Illusion》的官方代码与数据仓库，提出 CARA（跨智能体推理对齐）系列自动指标，用于衡量多智能体 LLM 辩论系统在答案一致时推理链是否真正一致，并揭示“一致性幻觉”——辩论虽减少表面矛盾，却可能降低推理语义相似度。仓库同时给出 Grounded Debate Protocol（GDP）提示级方案，通过 CLAIM/GROUND/STANCE 结构化推理在不增加 LLM 调用与智能体路由的前提下修复推理对齐。仓库包含 CARA 实现（步骤分解、DeBERTa-v3 NLI 矛盾检测、Stella 嵌入相似度、CARA-HYB）、GDP 与 M3 提示构建器，以及论文各表格、效应量、附录分析的复现脚本与逐题分数数据。
HumanStudy-Hub/HumanStudy-Bench · HumanStudy-Bench: Community Edition — Standardized human study replays for AI agent evaluation
HumanStudy-Bench 是一个标准化测试平台，用于让 AI 智能体回放人类被试实验。它由三部分构成：按已发表实验协议进行重建的执行引擎、一个持续扩充的可运行社会科学研究集合，以及从行为、效应和科学结论层面进行的评估。初始收录 12 项研究，覆盖认知、策略互动和社会心理学。项目提供直接提交 PR 的贡献路径（复制现有 study 目录结构、本地验证脚本、提交 PR），另有处于升级中的 HumanStudy-Hub 平台自动建研究路径。仓库结构包含 studies、src、playground、agent_pipeline、generation_pipeline、scripts、docs 和 tests。
Ayorinha/ayorai-opensearch · AYORAI ATTRACTOR — Evidence-first claim-level verification engine
AYORAI ATTRACTOR 是一个面向 AI 生成答案的可审计核验层：将答案拆解为单条 claim，与证据来源（含出处、偏移与溯源信息）关联，推导 stance（支持／矛盾／中立），再由**模型之外的确定性 Judge** 依据固定、带版本号的规则给出最终核验结论。结论状态包括 VERIFIED、SUPPORTED、PARTIALLY_SUPPORTED、UNVERIFIED、REFUTED、CONFLICTING；评估输入输出可用 SHA-256 做内容寻址以保证防篡改，并提供可复现的评测套件。当前领域为巴西电信监管（AnatEL RGC，标记 D10），项目自定位为研究与工程参考实现，明确声明不构成认证、法律意见或合规结论，评测数据为合成开发集且不构成生产泛化证据。
OraclesTech/guardian-sdk · Ethicore Engine® is an AI safety, ethics, and compliance platform. This repo consists of the open-source components of Ethicore Engine™ - Guardian SDK; designed to protect your AI applications from prompt injection, jailbreaks, role hijacking, system-prompt extraction, and 100+ additional threat categories through a multi-layer analysis pipeline
Ethicore Engine 的开源组件 Guardian SDK 面向 Python LLM 与智能体应用，通过多层检测管线在输入、输出、工具调用与工具返回等环节拦截提示注入、越狱、角色劫持、系统提示提取等攻击，支持文本、图像、音频和视频多种模态。社区版以 pip 安装、本地运行，覆盖 7 类威胁；API 与自托管版本覆盖 160+ 类威胁并提供智能体管线防护，具体部署、成本与限制需参考官方说明。
anthropics/oss-scanner
OSS Scanner 是 Anthropic 提供的服务，用于扫描关键开源仓库中的安全漏洞。项目方可提交 PR 在 projects/<name>/ 下注册项目，提供 project.yaml 与 Dockerfile（可选 threat_model.md）；扫描器在隔离虚拟机中联网构建项目，随后在无网络环境下分析，并通过邮件把带复现步骤和（可用时）修复补丁的模型生成报告发送给 primary_contact 及抄送人。报告由模型生成、无人工复核，因此不设 90 天披露期也不公开。仓库还提供 tools/validate.py、tools/check 等本地校验与构建工具。
Electricpaper77/ai-rag-eval-platform · AgentTrust IQ: reliability layer for Microsoft Reasoning Agents with groundedness, citation, hallucination, safety, latency, and JSONL audit checks.
AgentTrust IQ 是一个模型无关的 AI Agent 可靠性与评测平台，在发布前对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查。它将可靠性检查转化为明确的 release、block 或 escalate 决策，并生成可回放的 JSONL 证据。默认工作流为确定性本地运行，可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，但基线工作流不依赖它。
Irongrey-genusengelmannia453/zero-context · Redact sensitive data before sending to AI, then restore it automatically with this local-first DLP extension.
zero-context 是一个本地优先的浏览器扩展，用于在向 ChatGPT、Claude、Gemini 等 AI 网站发送提示词前自动识别并遮蔽姓名、电话、邮箱、信用卡号等个人敏感信息，替换为占位符标签；复制 AI 回复时再自动还原原始内容。检测使用在浏览器中通过 WebAssembly 运行的轻量 ONNX 模型，材料称数据不上传、无云端处理，并支持自定义脱敏规则、按站点开关、剪贴板还原控制与本地日志查看。
mixpeek/momentbench · Corpus-scale video moment retrieval benchmark — 75h of rights-cleared video, 500 queries, 4 difficulty tiers. Built on Mixpeek.
MomentBench 是由 Mixpeek 构建的语料级视频时刻检索评测基准，目标规模为 75 小时版权清晰视频与 500 条查询，覆盖四个难度层级。当前 v0.2 版本包含 27 个经哈希校验的视频资产，来自 Blender 开放电影、NASA 航空航天与 NASA 机器人三个领域，配套 620 条查询（457 条收录于仓库中）。项目提供查询分层定义、评测协议与评测指标（Recall@1/5、平均时间 IoU）、智能体评测赛道（模型通过 list_assets、search_transcript、read_transcript、sample_frames、submit_answer 等工具在预算内提交答案）、多模型适配器（Gemini、GPT、Claude、TwelveLabs、Qwen-VL、E5-Omni、CLIP 等）、污染控制机制（canary 字符串与 public/held_out/rolling 划分）以及结果提交与自建语料运行流程。
tracert244/trash_repo · 🎯 Compare real-time Pokemon detection models by evaluating speed, precision, and localization on stylized video data.
该仓库面向风格化视频数据，对多种实时宝可梦检测模型进行对比评测，关注推理速度、检测精度和定位效果。README 内容不足，仓库名与简介也不完全对应，仅能确认其定位为计算机视觉目标检测评测方向。
facebookincubator/bpfjailer · eBPF LSM based Mandatory Access Control and jailer
BpfJailer 是 Facebook Incubator 开源的 Linux 强制访问控制（MAC）项目，使用 eBPF LSM 程序将进程放入称为 pod 的隔离单元，每个 pod 绑定 TOML 策略中定义的角色，并在 fork 与 exec 时继承。策略可覆盖签名二进制校验（fs-verity 与证书）、kill/ptrace、bpf 对象访问、keyring、文件系统路径读写、可执行代码、内核模块与 kexec 加载、IPC（System V/POSIX 消息队列与共享内存）、Unix socket 与挂载点等控制面。项目提供 bpfjctl、bpfjcmd、bpfjsrv、bpfjclient、bpfjlog 等组件，支持运行时策略热替换（replace）与拒绝/生命周期事件日志。该实现是内部闭源 BpfJailer 的完整重写，官方标注为完全实验性。
google/oss-fuzz · OSS-Fuzz - continuous fuzzing for open source software.
OSS-Fuzz 由 Google 联合 Core Infrastructure Initiative 与 OpenSSF 推出，旨在通过结合现代模糊测试技术与可扩展的分布式执行，让常见的开源软件更加安全与稳定。项目支持 libFuzzer、AFL++、Honggfuzz 等模糊测试引擎及 Sanitizers，并使用 ClusterFuzz 作为分布式模糊测试执行与报告环境，目前支持 C/C++、Rust、Go、Python、Java/JVM、JavaScript 和 Lua，以及 x86_64 与 i386 构建。截至 2025 年 5 月，OSS-Fuzz 已帮助在 1000 个项目中识别并修复超过 13000 个漏洞和 50000 个缺陷。
Yacine-ai-tech/RAGeval · Drop-in LLMOps evaluation & observability library — multi-judge consensus with disagreement alarm, 5 composite metric scorers, bootstrap confidence intervals, and OpenTelemetry tracing. PyPI: omnismart-rageval.
RAGeval 是一个自托管的 LLMOps 评测与可观测性库，面向 RAG 管线。它提供多评委共识评分与分歧告警、检索相关性、忠实度、成本与时延等指标，并支持 FastAPI、LangChain 等框架的装饰器方式接入。项目包含仪表盘用于查看实时共识遥测、查询日志、成本报告和告警。
egnaro9/rag-eval-lab · RAG pipeline with no third-party dependencies and a deterministic eval harness that catches hallucinations (precision@k, recall@k, citation, faithfulness), proven in CI. Optional OpenAI + pgvector backends.
一个纯 Python 标准库实现的 RAG 参考项目，覆盖 ingest→chunk→embed→store→retrieve→answer 全流程，并配有确定性评测框架（precision@k、recall@k、citation、faithfulness）。其核心价值在于用闭式指标（非 LLM 评判）检测幻觉：预埋的幻觉样例会被 faithfulness 指标标记，并由 CI 持续验证。支持 bm25、hybrid、reranker 等可插拔检索策略，并在 SciFact 基准上给出实测对比；可选接入 OpenAI 嵌入/回答与 Postgres+pgvector 存储后端。
yeasy/ai_security_guide · 从原理到实践，全面掌握大语言模型安全攻防之道
这是一本系统讲解大语言模型与智能体安全的中文书籍，从攻击原理、防御机制到验证方法循序渐进。内容覆盖提示注入、RAG 安全、智能体攻击面、身份与架构防御，以及治理交付等主题。书中提供邮件助手、支付预算和 RAG 轨迹三个基于 Python 标准库与合成数据的配套实验，帮助读者在保留正常效用的前提下分别验证控制措施。阅读与实验入门均在 README 和在线 GitBook 中给出。
withmartian/code-review-benchmark
该项目提供评估 AI 代码审查工具的开源基准，包含数据集、LLM 评委和完整流水线。离线基准使用来自 Sentry、Grafana、Cal.com、Discourse、Keycloak 五个开源项目的 50 个 PR 与人工核验的 173 条 golden comments；在线基准持续从 GitHub 采样近期真实 PR，通过 LLM 三步分析提取机器人建议与开发者实际修复并做匹配，输出精确率与召回率。支持按类别评分配置（Strict/Core/All）与 F-beta 权重，并附交互式仪表盘，可复现结果或评测自有工具。