跨栏目检索
搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。
今天暂时没有新上架内容，你可以继续浏览历史归档。
review-bench/ReviewBench · ReviewBench is an open, reproducible benchmark for evaluating AI code review systems on real-world pull requests.
ReviewBench 是一个开放、可复现的基准，用于在真实 GitHub Pull Request 上评估 AI 代码评审系统。它为每个 PR 提供经人工评审的金标准发现问题集合，将代理发现的问题与该参考集对比，衡量其识别有效问题并避免误报的可靠性，结果还可按严重程度和类别等维度查看。仓库包含 25 个 PR 的测试集、219 个 PR 的完整集、金标准发现、方法论文档、代理契约与示例适配器、本地测试脚本以及评审 CLI，允许评审工具厂商通过自助门户将其评审器接入排行榜。
ictechgy/derailment · A harness for inducing and measuring psychopathology-like cognitive distortions in LLMs — emulation, not diagnosis.
Derailment 是一个分层测试工具（harness），用于在 LLM 聊天流水线中诱导并测量类似精神病理的认知扭曲。它通过操控临床概念对应的变量（注意力、显著性、效价、唤醒度），让同一标准探针脚本分别跑在经操控的流水线和健康基线上，输出 A/B 对照的评分报告。项目提供 18 个临床档案与 6 个对抗策略档案及健康基线，涵盖 ADHD、抑郁、精神分裂症、焦虑、双相、强迫症、PTSD、谵妄、痴呆样遗忘、解离性遗忘、反刍、快感缺失、分裂、渴求、疾病焦虑、惊恐、固着、被害观念等，配有 18 项基于转录文本的度量指标。支持离线伪 LLM、任意 OpenAI 兼容端点、本地 Ollama、订阅制 CLI 代理以及手动协议模式，另提供 LLM 作为评判者的评分、交互式聊天 REPL 和本地 Web GUI。项目明确声明这是模拟而非诊断。
metrum-ai/bench-cli · Reproducible load and performance benchmarking for AI inference endpoints
Metrum AI Bench CLI 是 Apache-2.0 许可的 Rust 命令行工具，用于对 OpenAI 兼容的 LLM、VLM、ASR 和图像生成端点做负载与性能测量，可采集延迟、TTFT、ITL/TPOT、token 吞吐、RTFx 与 WER/CER 等指标。它以客户端形式运行，需要用户自备 vLLM、vLLM-Omni 等推理服务；支持通过 SUT 声明块和结果清单生成可发布的基准结果，并可从 Hugging Face 的 metrum-ai/prompt-library 提取指定 ISL/OSL 分布的提示词集。
joshuabisdorf/Secure-AI-Gateway · Security-focused OpenAI-compatible LLM gateway with centralized policy enforcement, distributed controls, observability, and hardened deployment.
Secure AI Gateway 是一个以安全为核心的 OpenAI 兼容 LLM 网关和控制平面，集中处理认证、授权、限流、用量预算、PII 检测与脱敏、提示注入拦截、工具暴露与执行授权、审计日志、可观测性和安全回归测试。它基于 PostgreSQL 和 Redis/Valkey 提供分布式状态与一次性执行票据，附加强化的 Docker/Kubernetes 部署配置和可选的 AWS 参考架构，并提供无需付费云资源和真实模型调用的本地演示与验证流程。
facebookresearch/textseal · Codebase for generation-time and post-hoc text watermarking, as well as watermark radioactivity detection.
Text Seal 是 Meta 开源的文本水印工具包，覆盖三条技术路线：TextSeal 双密钥生成阶段水印（支持投机解码与局部检测）、通过 LLM 改写实现的后处理水印（Green-list/Red-list、Gumbel-max、DipMark、SynthID、MorphMark、WaterMax 等方案），以及基于「水印放射性」的基准数据污染检测。仓库同时提供分布式预训练与 SFT 训练基础设施，并支持污染注入以开展研究实验，可用于内容溯源验证、数据集污染检测与水印算法研究。
alizahidraja/isnad · Grade every agent, scraper and model in a claim's chain — provenance, trust scoring and audit evidence for LLM pipelines
ISNAD 是一个 Python 开源库，借鉴圣训传述学（isnād–rijāl）框架，为 RAG 和多智能体系统提供 LLM 溯源能力。它不只评估结论，还对每个处理声明的“传述者”（scraper、agent、model）打信任分级，按最弱环节（weakest-link）传播判断，并结合内容批评与决策矩阵，把声明路由为采用、复核或隔离。每次判定都会生成带 SHA-256 哈希、分离签名和 Merkle 日志的防篡改审计记录，映射到 EU AI Act、ISO/IEC 42001、NIST AI RMF 和 SDAIA 等合规框架。项目提供 Python 包、JS/TS 验证器和 LangChain 回调集成。
KerberosC/gemini-bug-hunter · 🛡️ Discover and fix security vulnerabilities in your codebase with Gemini Bug Hunter, an AI-powered CLI tool for streamlined AppSec workflows.
Gemini Bug Hunter 是一个 AI 优先的命令行工具，利用 Gemini 2.5 Flash 扫描代码库，识别并解释安全漏洞，并给出修复建议，帮助开发者完成应用安全（AppSec）工作流。它支持对指定目录执行扫描、生成详细报告，并提供跨平台（Windows、macOS、Linux）的使用方式。仓库未说明 API 调用成本、具体漏洞覆盖范围或与现有工作流的集成细节。
DataDog/malicious-software-packages-dataset · An open-source dataset of malicious software packages found in the wild.
该项目由 DataDog 维护，是一个收录野外发现的恶意软件包的开源数据集，目前包含超过 28623 个样本，覆盖 npm、PyPI、IDE 扩展和 AI Skills 等生态。样本按生态及「良性包被投毒版本」与「以投递恶意软件为目的」分类存放，压缩为密码为 infected 的加密 ZIP；各生态目录附带 manifest.json，可用于按包名和版本快速判断是否属于已知恶意包。数据集主要用于软件供应链安全研究、检测规则（如 GuardDog）验证与本地分析。
fstandhartinger/jevbench · JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.
JevBench 是 Benchmark Heaven 自研的基准测试，用于评测 Jev 类决策模型：给模型一段状态和一个有界评分规则，要求它返回结构化选项答案并尽量给出每个选项的概率，不需要散文式输出或解析。评分由 Intelligence（机会校正后的准确率）、Calibration、Speed、Cost 四个等权轴合成 JevBench Score，并按版本迭代维护公开排行榜。仓库提供冻结的评分方法文档、聚合结果 JSON、部分公开数据集与各系统适配器代码，并区分公开题与私有留存题。
jianruntech/geo-score · Can AI engines cite your site, and do they? Free 0–100 readiness score on an open GEO rubric, plus citation tracking via the OpenAI, Perplexity, Gemini and Claude APIs with your own keys. Zero dependencies, MCP server.
geo-score 是一个基于开放且版本化 GEO（生成式引擎优化）评分标准的网站审核工具，可在约 20 秒内给出 0–100 的 AI 可引用性评分，覆盖可抓取性、可理解性、内容可引用性、品牌可信度和答案契合度等 21 项分级检查。它还提供通过自带 API 密钥（OpenAI、Perplexity、Gemini、Anthropic、OpenRouter）向 AI 引擎提问以检查引用情况的能力，并支持按固定问题集每周追踪引用变化，同时提供本地 MCP 服务器与 Claude Code 技能接入。
trestoncuzzort/dawnr · An assistant built to be trusted by proof, not by sounding right: a small language model trained from random weights on one machine, running with nothing behind it, whose programs carry specifications checked by seven provers (Dafny, Verus, SPARK, Frama-C, Lean 4, Rocq, F*), each also refuting a sabotaged twin. It learns only from what was proved.
dawnr 是一个以“先证明、后采信”为核心原则的助手项目，用小型语言模型生成带规格说明的程序，再交由 Dafny、Verus、SPARK、Frama-C、Lean 4、Rocq、F* 七种独立证明器检查。材料记录了学生模型在给定规格时的证明通过率、七证明器一致性门槛、构造性反例（被篡改孪生程序）检验、规格与问题一致性的额外检查，以及在本地硬件上以量化方式运行的整体流程。仓库同时包含从零训练核心模型、用已验证数据微调开源权重、强化学习与门控反馈成新数据、个人记忆与适配器、检索/语音/视觉/工具调用等实验性模块，并声明各项进展与已知失败模式。
Anonymous-conditionalreflex438/AIGuardSIEM · Detect security threats and automate incident response with this production-grade SIEM and XDR platform.
AIGuardSIEM 是一个面向 Windows 的网络安全监控工具，通过分析系统日志与数据发现可疑活动，并使用机器学习识别攻击行为。它提供统一仪表盘管理安全设置、查看日志与报告，支持监控文件夹、邮件告警、灵敏度调节和白名单等功能，可与传统杀毒软件同时运行。
itguruhaseeb/mcp-probe · Lint and health-check any Model Context Protocol (MCP) server over stdio — handshake, tools/list, JSON Schema validation, latency, safe round-trips.
mcp-probe 是一个基于 Node.js 的命令行工具，通过 stdio 直接使用 MCP 线路协议（换行分隔的 JSON-RPC 2.0）对任意 Model Context Protocol 服务器进行 lint 与健康检查。它执行握手初始化、调用 tools/list 校验工具 inputSchema 是否符合 JSON Schema、检查 resources 与 prompts 声明、测量延迟，并可选地执行安全往返调用。工具提供人类可读报告、JSON 和 SARIF 输出，具备稳定的退出码和规则 ID，适合在 CI 中作为构建门禁。
csnyder256/harness-tuner · Measure your agent harness, find where it wastes the model, and prove the fix worked. Harness-agnostic, agent-agnostic, zero dependencies. Reference implementation of HTP-1.
harness-tuner 是一个面向 AI Agent 的评测工具，用于测量 Agent Harness（系统提示词、工具集、记忆与上下文策略、钩子、重试、压缩等模型外围脚手架）的运行时表现，定位 Harness 浪费模型能力的位置并生成可应用的改进提案。它通过与 Harness 无关的适配器读取任意 Harness 的 trace，计算固定的 24 项运行指标，并借助 anytime-valid e-process 对“改动是否真的有效”给出统计保证。项目采用零依赖 Python 实现，是 HTP-1 协议的参考实现。
dkships/ship-sense · Ranks frontier LLMs on product judgment: what to refuse to build, what the data can't say, when to hold a call.
Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。评分采用确定性的关键词匹配而非 LLM 评委，并给出对抗性策略与随机策略的可利用性下限；仓库还维护模型排行榜、代际对比与得分历史。
OWASP-Benchmark/BenchmarkJava · OWASP Benchmark is a test suite designed to verify the speed and accuracy of software vulnerability detection tools. A fully runnable web app written in Java, it supports analysis by Static (SAST), Dynamic (DAST), and Runtime (IAST) tools that support Java. The idea is that since it is fully runnable and all the vulnerabilities are actually exploitable, it’s a fair test for any kind of vulnerability detection tool. For more details on this project, please see the OWASP Benchmark Project home page.
OWASP Benchmark for Java 是 OWASP Benchmark 项目的 Java 测试套件，用于验证软件漏洞检测工具的速度和准确率。它是一个完全可运行的 Java Web 应用，支持 SAST、DAST（如 ZAP）和 IAST 等应用安全测试工具对其进行分析。项目刻意包含的可被利用漏洞会参与评分，因此对各类漏洞检测工具构成相对公平的测试；项目还包含针对多种开源与商业 AST 工具的评分卡生成器，支持的工具集合持续增长，该评分能力由 BenchmarkUtils 项目实现。项目文档位于 OWASP Benchmark 项目页面。
Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit
rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。
sseshachala/conductai · Runtime governance for AI agents. Allow, warn, or block every model and tool call before it commits. Hash-chained audit for every decision. Compliance packs for SOC 2, HIPAA, PCI DSS, EU AI Act, SR 11-7, and FDA CSA. Apache 2.0.
Conduct 是一个面向 AI Agent 的运行时治理控制平面，在每次 LLM 调用、shell 工具和 MCP 调用提交前决定允许、警告、审计或拦截，并提供 SHA-256 哈希链审计与面向 SOC 2、HIPAA、PCI DSS、EU AI Act 等的合规包。项目包含策略引擎 Guard、LLM 代理 Router 和聊天界面 Lens，提供自托管 Docker Compose 部署方式和 CLI 工具。
DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).
AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。
yzhao062/AI4Fire · Five wildfire tasks for language models and agents, each run bare and grounded and scored beside a non-LLM comparator. 77,644 stored responses; every paper table reproduces offline.
AI4Fire 是一个面向野火任务的 LLM 与智能体评测基准，包含每日人员调配、野火烟雾检测、火险预报、温度相关航拍问答、火灾数据工具调用五个任务，覆盖 12 家厂商的 35 个模型。每个任务同时以裸提示与带 grounding 两种方式运行，并与非 LLM 对照基线比较，仓库内保存 77,644 条已评分响应，可离线一条命令复现论文全部主表，无需 API 凭据。