工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
Anonymous-conditionalreflex438/AIGuardSIEM · Detect security threats and automate incident response with this production-grade SIEM and XDR platform.
AIGuardSIEM 是一个面向 Windows 的网络安全监控工具，通过分析系统日志与数据发现可疑活动，并使用机器学习识别攻击行为。它提供统一仪表盘管理安全设置、查看日志与报告，支持监控文件夹、邮件告警、灵敏度调节和白名单等功能，可与传统杀毒软件同时运行。
itguruhaseeb/mcp-probe · Lint and health-check any Model Context Protocol (MCP) server over stdio — handshake, tools/list, JSON Schema validation, latency, safe round-trips.
mcp-probe 是一个基于 Node.js 的命令行工具，通过 stdio 直接使用 MCP 线路协议（换行分隔的 JSON-RPC 2.0）对任意 Model Context Protocol 服务器进行 lint 与健康检查。它执行握手初始化、调用 tools/list 校验工具 inputSchema 是否符合 JSON Schema、检查 resources 与 prompts 声明、测量延迟，并可选地执行安全往返调用。工具提供人类可读报告、JSON 和 SARIF 输出，具备稳定的退出码和规则 ID，适合在 CI 中作为构建门禁。
csnyder256/harness-tuner · Measure your agent harness, find where it wastes the model, and prove the fix worked. Harness-agnostic, agent-agnostic, zero dependencies. Reference implementation of HTP-1.
harness-tuner 是一个面向 AI Agent 的评测工具，用于测量 Agent Harness（系统提示词、工具集、记忆与上下文策略、钩子、重试、压缩等模型外围脚手架）的运行时表现，定位 Harness 浪费模型能力的位置并生成可应用的改进提案。它通过与 Harness 无关的适配器读取任意 Harness 的 trace，计算固定的 24 项运行指标，并借助 anytime-valid e-process 对“改动是否真的有效”给出统计保证。项目采用零依赖 Python 实现，是 HTP-1 协议的参考实现。
dkships/ship-sense · Ranks frontier LLMs on product judgment: what to refuse to build, what the data can't say, when to hold a call.
Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。评分采用确定性的关键词匹配而非 LLM 评委，并给出对抗性策略与随机策略的可利用性下限；仓库还维护模型排行榜、代际对比与得分历史。
OWASP-Benchmark/BenchmarkJava · OWASP Benchmark is a test suite designed to verify the speed and accuracy of software vulnerability detection tools. A fully runnable web app written in Java, it supports analysis by Static (SAST), Dynamic (DAST), and Runtime (IAST) tools that support Java. The idea is that since it is fully runnable and all the vulnerabilities are actually exploitable, it’s a fair test for any kind of vulnerability detection tool. For more details on this project, please see the OWASP Benchmark Project home page.
OWASP Benchmark for Java 是 OWASP Benchmark 项目的 Java 测试套件，用于验证软件漏洞检测工具的速度和准确率。它是一个完全可运行的 Java Web 应用，支持 SAST、DAST（如 ZAP）和 IAST 等应用安全测试工具对其进行分析。项目刻意包含的可被利用漏洞会参与评分，因此对各类漏洞检测工具构成相对公平的测试；项目还包含针对多种开源与商业 AST 工具的评分卡生成器，支持的工具集合持续增长，该评分能力由 BenchmarkUtils 项目实现。项目文档位于 OWASP Benchmark 项目页面。
Abanoub-Rodolf/rag-eval-toolkit · Python toolkit for evaluating RAG pipelines: LLM-as-judge scoring, retrieval metrics, hallucination checks. pip install rag-eval-toolkit
rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。
sseshachala/conductai · Runtime governance for AI agents. Allow, warn, or block every model and tool call before it commits. Hash-chained audit for every decision. Compliance packs for SOC 2, HIPAA, PCI DSS, EU AI Act, SR 11-7, and FDA CSA. Apache 2.0.
Conduct 是一个面向 AI Agent 的运行时治理控制平面，在每次 LLM 调用、shell 工具和 MCP 调用提交前决定允许、警告、审计或拦截，并提供 SHA-256 哈希链审计与面向 SOC 2、HIPAA、PCI DSS、EU AI Act 等的合规包。项目包含策略引擎 Guard、LLM 代理 Router 和聊天界面 Lens，提供自托管 Docker Compose 部署方式和 CLI 工具。
DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).
AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。
b7n0de/proofbundle · Portable evidence for AI work, verifiable offline. Integrity, not truth
proofbundle 是一个 Python 工具与回执格式，用于把 AI 评测、审查、决策或动作转化为单个可移植回执文件，支持离线验证与显式策略检查。它可证明内容由哪个密钥签名、签名内容是否被改动、所附证明与策略检查是否通过，但明确不判断所报告结果是否真实、工作是否正确或完整。核心支持签名回执与 Merkle 包含证明，并提供评测回执、选择性披露、决策回执、Inspect AI 集成、RFC 3161/OpenTimestamps 锚定、ML-DSA-44 见证共签名等可选能力，各特性成熟度不一。
nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)
τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。
Mattbusel/llm-bench · CLI that benchmarks LLM APIs: run your prompts concurrently against OpenAI and Anthropic models and compare p50/p99 latency, tokens per second, cost and success rate as a table or JSON.
llm-bench 是一个用 Rust 编写的命令行工具，把同一批提示词并发发送给多个模型（OpenAI、Anthropic，以及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），并以表格或 JSON 输出 p50/p99 延迟、每秒 token 数、单次与总成本、成功率等指标，帮助使用者在真实网络和自己提示词条件下比较不同模型的快慢与费用。内置价格表可用 llm-bench models 查看，非流式请求且不单独测量首 token 时间。
RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.
Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。
azbigboss66-oss/skillfoo-v3 · Bounded, evidence-driven SKILL.md evolution under frozen evaluation and safety contracts.
SkillFoo 是一个本地实验性 CLI，用于在冻结评测合同、安全边界和可审计回滚机制下受控演化 AI Skill 的 SKILL.md。它把自然语言目标整理为可确认的 Task Card 与评测边界，冻结原始 B0 与生成的 S0，维护 Anchor/Elite/Diversity 进行多代变异与精修，并通过严格 JSON、确定性 verifier、五维最低线等非退化保护选出候选；若没有合格改进则保留起点。项目只优化 SKILL.md，不覆盖输入 Skill、不自动发布候选，Live 执行需配置 OpenAI-compatible Provider。
egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.
model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
adimalkar/multimodal-fraud-detector · Multi-agent AI pipeline that detects generative-AI fraud in insurance claims across images, PDFs, and video. A "Jury System" of Qwen-VL vision analysis plus DeepSeek-R1/Qwen/GLM critic agents with majority voting — dashcam-aware, batch-capable, Streamlit UI.
该项目是一个面向保险理赔场景的多智能体 AI 流水线，用于识别图像、PDF 文档和视频中的生成式 AI 伪造内容。其核心是“陪审团系统”架构：由 Qwen-VL-Plus 视觉智能体做取证分析，再把结论交给 Qwen Turbo、DeepSeek R1、GLM 4.6 等评论智能体独立评估并多数投票。功能包括多模态输入（视频通过抽帧）、针对行车记录仪的运动模糊与 AI 平滑伪影区分协议、基于 SQLite 的批量处理，以及 Streamlit 交互式仪表盘。
okht/eval-pi · 面向 AI 产品经理，一句话完成 Agent 的评测与调优。
EvalPi 是一个面向 AI 产品经理的工具，目标是让用户结合 PRD 与评测标准，用一句话完成 Agent 的评测、问题分析、调优与效果验证。README 未提供安装方式、部署环境、依赖条件或使用限制等信息。
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
spring-ai-community/spring-ai-typesafe · A Java SDK for the TypeSafe AI JEV API, & Spring AI TypeSafe integrations.
该项目为 TypeSafe AI 的 System One（jev）API 提供 Java 客户端，基于 Spring RestClient 与 Jackson 3 构建，并提供 Spring AI 集成，可作为模型即评审、护栏、RAG 后处理器与工具索引使用。其核心思路是将状态与一组类型化问题提交给 API，并行获得结构化答案（Noul、Choice、Score），而非文本生成。项目包含 typesafe-java-sdk、typesafe-spring-ai、spring-ai-starter-typesafe、typesafe-bom 及示例模块。
roshcompanylabs/llm-stream-guardrails · LLM guardrails for streaming: redact PII and secrets mid-stream
llm-stream-guardrails 是一个 TypeScript 库，用于在 LLM 流式响应过程中实时检测并遮盖 PII、API 密钥、私钥等敏感内容，无需先缓冲完整回复再过滤。它接收任意字符串异步可迭代对象（可直接接入 Vercel AI SDK 的 textStream，OpenAI/Anthropic SDK 需一行映射），承诺对任意输入、策略与分块方式，流式输出与整串过滤结果逐字节一致且每个输出块独立完整。内置 email、信用卡（Luhn 校验）、电话、SSN、IBAN（mod-97）、35 类密钥形态及 PEM 私钥块检测器，并支持按字段名识别的 labeledSensitive 与自定义敏感标签。仓库定位为纵深防御而非合规控制，作者明确说明对未见文本的召回率约 47%–81%，不能替代其他安全措施。