工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
review-bench/ReviewBench · ReviewBench is an open, reproducible benchmark for evaluating AI code review systems on real-world pull requests.
ReviewBench 是一个开放、可复现的基准，用于在真实 GitHub Pull Request 上评估 AI 代码评审系统。它为每个 PR 提供经人工评审的金标准发现问题集合，将代理发现的问题与该参考集对比，衡量其识别有效问题并避免误报的可靠性，结果还可按严重程度和类别等维度查看。仓库包含 25 个 PR 的测试集、219 个 PR 的完整集、金标准发现、方法论文档、代理契约与示例适配器、本地测试脚本以及评审 CLI，允许评审工具厂商通过自助门户将其评审器接入排行榜。
metrum-ai/bench-cli · Reproducible load and performance benchmarking for AI inference endpoints
Metrum AI Bench CLI 是 Apache-2.0 许可的 Rust 命令行工具，用于对 OpenAI 兼容的 LLM、VLM、ASR 和图像生成端点做负载与性能测量，可采集延迟、TTFT、ITL/TPOT、token 吞吐、RTFx 与 WER/CER 等指标。它以客户端形式运行，需要用户自备 vLLM、vLLM-Omni 等推理服务；支持通过 SUT 声明块和结果清单生成可发布的基准结果，并可从 Hugging Face 的 metrum-ai/prompt-library 提取指定 ISL/OSL 分布的提示词集。
joshuabisdorf/Secure-AI-Gateway · Security-focused OpenAI-compatible LLM gateway with centralized policy enforcement, distributed controls, observability, and hardened deployment.
Secure AI Gateway 是一个以安全为核心的 OpenAI 兼容 LLM 网关和控制平面，集中处理认证、授权、限流、用量预算、PII 检测与脱敏、提示注入拦截、工具暴露与执行授权、审计日志、可观测性和安全回归测试。它基于 PostgreSQL 和 Redis/Valkey 提供分布式状态与一次性执行票据，附加强化的 Docker/Kubernetes 部署配置和可选的 AWS 参考架构，并提供无需付费云资源和真实模型调用的本地演示与验证流程。
facebookresearch/textseal · Codebase for generation-time and post-hoc text watermarking, as well as watermark radioactivity detection.
Text Seal 是 Meta 开源的文本水印工具包，覆盖三条技术路线：TextSeal 双密钥生成阶段水印（支持投机解码与局部检测）、通过 LLM 改写实现的后处理水印（Green-list/Red-list、Gumbel-max、DipMark、SynthID、MorphMark、WaterMax 等方案），以及基于「水印放射性」的基准数据污染检测。仓库同时提供分布式预训练与 SFT 训练基础设施，并支持污染注入以开展研究实验，可用于内容溯源验证、数据集污染检测与水印算法研究。
alizahidraja/isnad · Grade every agent, scraper and model in a claim's chain — provenance, trust scoring and audit evidence for LLM pipelines
ISNAD 是一个 Python 开源库，借鉴圣训传述学（isnād–rijāl）框架，为 RAG 和多智能体系统提供 LLM 溯源能力。它不只评估结论，还对每个处理声明的“传述者”（scraper、agent、model）打信任分级，按最弱环节（weakest-link）传播判断，并结合内容批评与决策矩阵，把声明路由为采用、复核或隔离。每次判定都会生成带 SHA-256 哈希、分离签名和 Merkle 日志的防篡改审计记录，映射到 EU AI Act、ISO/IEC 42001、NIST AI RMF 和 SDAIA 等合规框架。项目提供 Python 包、JS/TS 验证器和 LangChain 回调集成。
KerberosC/gemini-bug-hunter · 🛡️ Discover and fix security vulnerabilities in your codebase with Gemini Bug Hunter, an AI-powered CLI tool for streamlined AppSec workflows.
Gemini Bug Hunter 是一个 AI 优先的命令行工具，利用 Gemini 2.5 Flash 扫描代码库，识别并解释安全漏洞，并给出修复建议，帮助开发者完成应用安全（AppSec）工作流。它支持对指定目录执行扫描、生成详细报告，并提供跨平台（Windows、macOS、Linux）的使用方式。仓库未说明 API 调用成本、具体漏洞覆盖范围或与现有工作流的集成细节。
DataDog/malicious-software-packages-dataset · An open-source dataset of malicious software packages found in the wild.
该项目由 DataDog 维护，是一个收录野外发现的恶意软件包的开源数据集，目前包含超过 28623 个样本，覆盖 npm、PyPI、IDE 扩展和 AI Skills 等生态。样本按生态及「良性包被投毒版本」与「以投递恶意软件为目的」分类存放，压缩为密码为 infected 的加密 ZIP；各生态目录附带 manifest.json，可用于按包名和版本快速判断是否属于已知恶意包。数据集主要用于软件供应链安全研究、检测规则（如 GuardDog）验证与本地分析。
jianruntech/geo-score · Can AI engines cite your site, and do they? Free 0–100 readiness score on an open GEO rubric, plus citation tracking via the OpenAI, Perplexity, Gemini and Claude APIs with your own keys. Zero dependencies, MCP server.
geo-score 是一个基于开放且版本化 GEO（生成式引擎优化）评分标准的网站审核工具，可在约 20 秒内给出 0–100 的 AI 可引用性评分，覆盖可抓取性、可理解性、内容可引用性、品牌可信度和答案契合度等 21 项分级检查。它还提供通过自带 API 密钥（OpenAI、Perplexity、Gemini、Anthropic、OpenRouter）向 AI 引擎提问以检查引用情况的能力，并支持按固定问题集每周追踪引用变化，同时提供本地 MCP 服务器与 Claude Code 技能接入。
Anonymous-conditionalreflex438/AIGuardSIEM · Detect security threats and automate incident response with this production-grade SIEM and XDR platform.
AIGuardSIEM 是一个面向 Windows 的网络安全监控工具，通过分析系统日志与数据发现可疑活动，并使用机器学习识别攻击行为。它提供统一仪表盘管理安全设置、查看日志与报告，支持监控文件夹、邮件告警、灵敏度调节和白名单等功能，可与传统杀毒软件同时运行。
itguruhaseeb/mcp-probe · Lint and health-check any Model Context Protocol (MCP) server over stdio — handshake, tools/list, JSON Schema validation, latency, safe round-trips.
mcp-probe 是一个基于 Node.js 的命令行工具，通过 stdio 直接使用 MCP 线路协议（换行分隔的 JSON-RPC 2.0）对任意 Model Context Protocol 服务器进行 lint 与健康检查。它执行握手初始化、调用 tools/list 校验工具 inputSchema 是否符合 JSON Schema、检查 resources 与 prompts 声明、测量延迟，并可选地执行安全往返调用。工具提供人类可读报告、JSON 和 SARIF 输出，具备稳定的退出码和规则 ID，适合在 CI 中作为构建门禁。
csnyder256/harness-tuner · Measure your agent harness, find where it wastes the model, and prove the fix worked. Harness-agnostic, agent-agnostic, zero dependencies. Reference implementation of HTP-1.
harness-tuner 是一个面向 AI Agent 的评测工具，用于测量 Agent Harness（系统提示词、工具集、记忆与上下文策略、钩子、重试、压缩等模型外围脚手架）的运行时表现，定位 Harness 浪费模型能力的位置并生成可应用的改进提案。它通过与 Harness 无关的适配器读取任意 Harness 的 trace，计算固定的 24 项运行指标，并借助 anytime-valid e-process 对“改动是否真的有效”给出统计保证。项目采用零依赖 Python 实现，是 HTP-1 协议的参考实现。
OWASP-Benchmark/BenchmarkJava · OWASP Benchmark is a test suite designed to verify the speed and accuracy of software vulnerability detection tools. A fully runnable web app written in Java, it supports analysis by Static (SAST), Dynamic (DAST), and Runtime (IAST) tools that support Java. The idea is that since it is fully runnable and all the vulnerabilities are actually exploitable, it’s a fair test for any kind of vulnerability detection tool. For more details on this project, please see the OWASP Benchmark Project home page.
OWASP Benchmark for Java 是 OWASP Benchmark 项目的 Java 测试套件，用于验证软件漏洞检测工具的速度和准确率。它是一个完全可运行的 Java Web 应用，支持 SAST、DAST（如 ZAP）和 IAST 等应用安全测试工具对其进行分析。项目刻意包含的可被利用漏洞会参与评分，因此对各类漏洞检测工具构成相对公平的测试；项目还包含针对多种开源与商业 AST 工具的评分卡生成器，支持的工具集合持续增长，该评分能力由 BenchmarkUtils 项目实现。项目文档位于 OWASP Benchmark 项目页面。
Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit
rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。
sseshachala/conductai · Runtime governance for AI agents. Allow, warn, or block every model and tool call before it commits. Hash-chained audit for every decision. Compliance packs for SOC 2, HIPAA, PCI DSS, EU AI Act, SR 11-7, and FDA CSA. Apache 2.0.
Conduct 是一个面向 AI Agent 的运行时治理控制平面，在每次 LLM 调用、shell 工具和 MCP 调用提交前决定允许、警告、审计或拦截，并提供 SHA-256 哈希链审计与面向 SOC 2、HIPAA、PCI DSS、EU AI Act 等的合规包。项目包含策略引擎 Guard、LLM 代理 Router 和聊天界面 Lens，提供自托管 Docker Compose 部署方式和 CLI 工具。
DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).
AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。
b7n0de/proofbundle · Portable evidence for AI work, verifiable offline. Integrity, not truth
proofbundle 是一个 Python 工具与回执格式，用于把 AI 评测、审查、决策或动作转化为单个可移植回执文件，支持离线验证与显式策略检查。它可证明内容由哪个密钥签名、签名内容是否被改动、所附证明与策略检查是否通过，但明确不判断所报告结果是否真实、工作是否正确或完整。核心支持签名回执与 Merkle 包含证明，并提供评测回执、选择性披露、决策回执、Inspect AI 集成、RFC 3161/OpenTimestamps 锚定、ML-DSA-44 见证共签名等可选能力，各特性成熟度不一。
nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)
τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。
Mattbusel/llm-bench · CLI that benchmarks LLM APIs: run your prompts concurrently against OpenAI and Anthropic models and compare p50/p99 latency, tokens per second, cost and success rate as a table or JSON.
llm-bench 是一个用 Rust 编写的命令行工具，把同一批提示词并发发送给多个模型（OpenAI、Anthropic，以及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），并以表格或 JSON 输出 p50/p99 延迟、每秒 token 数、单次与总成本、成功率等指标，帮助使用者在真实网络和自己提示词条件下比较不同模型的快慢与费用。内置价格表可用 llm-bench models 查看，非流式请求且不单独测量首 token 时间。
RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.
Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。
RyanAlberts/pmstack · Gstack for PMs. Eval Studio that you can plug-n-play anywhere.
pmstack 是一个面向产品经理的 AI 产品评测工具，通过 Eval Studio 让 PM 以客户视角阅读真实 trace，记录问题、归纳失败模式与成功模式，按阶段统计并转化为可复用的代码检查或 AI judge。项目提供网页版 Eval Studio、命令行工具以及供 Claude Code 等 agent 使用的技能，并强调 trace 与评审数据保留在本地、不自动上传。