工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
GitHubSecurityLab/seclab-taskflows-fuzzing · An LLM-driven fuzzing pipeline powered by the GitHub Security Lab Taskflow Agent
该项目是 GitHub Security Lab Taskflow Agent 的模糊测试任务流，面向原生 C/C++ 项目提供 LLM 驱动的自主模糊测试流水线。它结合 AFL++ 执行、clang+lcov 覆盖率采集以及 LLM Agent，自动完成目标识别、构建系统分析、harness 编写与构建、覆盖率反馈迭代、崩溃去重与分类，并生成含可利用性判断和修复建议的可读漏洞报告，同时提供实时 HTML 仪表盘。
azbigboss66-oss/skillfoo-v3 · Bounded, evidence-driven SKILL.md evolution under frozen evaluation and safety contracts.
SkillFoo 是一个本地实验性 CLI，用于在冻结评测合同、安全边界和可审计回滚机制下受控演化 AI Skill 的 SKILL.md。它把自然语言目标整理为可确认的 Task Card 与评测边界，冻结原始 B0 与生成的 S0，维护 Anchor/Elite/Diversity 进行多代变异与精修，并通过严格 JSON、确定性 verifier、五维最低线等非退化保护选出候选；若没有合格改进则保留起点。项目只优化 SKILL.md，不覆盖输入 Skill、不自动发布候选，Live 执行需配置 OpenAI-compatible Provider。
egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.
model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。
egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer
该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。
cameronhopkin/isc2-2026-ai-code-review-workshop · Workshop materials for AI-augmented code review pipelines. ISC2 Security Congress 2026.
这是 ISC2 Security Congress 2026 为期两天动手工作坊的配套材料，面向希望在流水线中引入 LLM 辅助代码评审、又不希望把代码送给第三方厂商的安全工程师。项目提供参考实现与实验指南：AI 评审机器人接收 Bandit、detect-secrets 等扫描器输出的 SARIF 结果，经本地 Ollama 开源权重的 Qwen2.5-Coder 模型（默认 7B，另有 3B 小模型）分诊，输出带真实文件与行号引用的评审意见。内容涵盖模型本地部署、三种在代码层强制执行的防幻觉模式（强制引用、链式验证、宁可拒答）、CI/CD 集成、对机器人自身的攻击实验（提示注入、假阴性操纵、数据外泄、资源耗尽）以及企业级加固清单和自托管与商业方案的总体拥有成本模型。仓库同时包含刻意存在漏洞的 Flask 目标应用、提示词模板、评测工具和防御模式实现。
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
adimalkar/multimodal-fraud-detector · Multi-agent AI pipeline that detects generative-AI fraud in insurance claims across images, PDFs, and video. A "Jury System" of Qwen-VL vision analysis plus DeepSeek-R1/Qwen/GLM critic agents with majority voting — dashcam-aware, batch-capable, Streamlit UI.
该项目是一个面向保险理赔场景的多智能体 AI 流水线，用于识别图像、PDF 文档和视频中的生成式 AI 伪造内容。其核心是“陪审团系统”架构：由 Qwen-VL-Plus 视觉智能体做取证分析，再把结论交给 Qwen Turbo、DeepSeek R1、GLM 4.6 等评论智能体独立评估并多数投票。功能包括多模态输入（视频通过抽帧）、针对行车记录仪的运动模糊与 AI 平滑伪影区分协议、基于 SQLite 的批量处理，以及 Streamlit 交互式仪表盘。
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
spring-ai-community/spring-ai-typesafe · A Java SDK for the TypeSafe AI JEV API, & Spring AI TypeSafe integrations.
该项目为 TypeSafe AI 的 System One（jev）API 提供 Java 客户端，基于 Spring RestClient 与 Jackson 3 构建，并提供 Spring AI 集成，可作为模型即评审、护栏、RAG 后处理器与工具索引使用。其核心思路是将状态与一组类型化问题提交给 API，并行获得结构化答案（Noul、Choice、Score），而非文本生成。项目包含 typesafe-java-sdk、typesafe-spring-ai、spring-ai-starter-typesafe、typesafe-bom 及示例模块。
roshcompanylabs/llm-stream-guardrails · LLM guardrails for streaming: redact PII and secrets mid-stream
llm-stream-guardrails 是一个 TypeScript 库，用于在 LLM 流式响应过程中实时检测并遮盖 PII、API 密钥、私钥等敏感内容，无需先缓冲完整回复再过滤。它接收任意字符串异步可迭代对象（可直接接入 Vercel AI SDK 的 textStream，OpenAI/Anthropic SDK 需一行映射），承诺对任意输入、策略与分块方式，流式输出与整串过滤结果逐字节一致且每个输出块独立完整。内置 email、信用卡（Luhn 校验）、电话、SSN、IBAN（mod-97）、35 类密钥形态及 PEM 私钥块检测器，并支持按字段名识别的 labeledSensitive 与自定义敏感标签。仓库定位为纵深防御而非合规控制，作者明确说明对未见文本的召回率约 47%–81%，不能替代其他安全措施。
Heimel-open/Heimel · HEIMEL Intent. Realized. HEIMEL is open infrastructure for the transition from intent to consequence.
HEIMEL 是一套面向后果承载执行的授权治理基础设施，位于现有身份、策略与执行系统之间，在意图落地为真实效果的那一刻判断其是否具备当前授权。它不替换 IAM 或策略引擎，而是把决策、精确效果、许可与回执绑定，并通过 Gateway 强制唯一受治理的效果路径，由 Veritas 保留可归因的证据。仓库包含本地参考运行时，支持本地授权、执行、回放与证据查验，并提供标准授权演示、可执行授权演示和回放演示。
joshuakoplik/soc-lab · A SOC lab for studying LLM agents on both sides of the boundary: vulnerable dockerized targets emitting real telemetry, a deterministic ingest/detect pipeline, and triage + red-team agents on top — plus a harness measuring prompt-injection resistance.
soc-lab 是一个用于研究安全运营中心（SOC）内 LLM 智能体行为的研究环境，由三部分组成：刻意存在漏洞、可输出真实遥测的 Docker 靶机实验场；确定性的数据摄取、规范化与检测流水线（结果落入 SQLite，不涉及模型）；以及构建在其上的两类智能体——蓝队分诊智能体和红队智能体。项目还在日志 schema 中按“可信度”而非类型划分列，把攻击者可控字段与基础设施断言字段结构分离，并通过 injection_asr 测试框架对比开启/关闭信任边界防护时，分诊智能体对提示注入的抵抗程度。项目定位为研究工具而非安全产品，包含未沙箱化的工具能力和真实 iptables 网络封锁行为。
dthinkr/openrouter-uptime · Independent uptime registry for every OpenRouter model. Polled every 30 min, raw + derived + incidents, keyless
该项目为 OpenRouter 上每个模型及其各推理提供方建立独立的可用性注册表，通过两个采集器每 15 分钟轮询 OpenRouter 公共 API（无需 API Key），记录约 400 个目录模型、约 1150 个路由端点的状态，并以带时间戳的快照形式提交原始响应与派生数据。仓库提供 raw/、derived/、status/ 三类数据，包括逐端点状态 CSV、最新快照、只追加的故障日志与模型/提供方变更日志，用于重建任意端点的历史可用性；Parquet 镜像每日同步到 HuggingFace 与 Kaggle。
phonghhd/EvoNet-AI-Core · Autonomous AI Security Agent leveraging LLMs, RAG, and Knowledge Graphs for automated CVE analysis and auto-patching.
EvoNet-Core 是一个自主 AI 安全代理项目，持续采集 CVE 数据、分析漏洞并生成防御性代码。它集成了四层 AI 路由故障转移（NVIDIA NIM、Groq、Cloudflare AI、本地 Ollama）、知识图谱与向量检索结合的 Graph RAG（Pinecone + Neo4j）、基于 PPO 的强化学习防御策略、MITRE ATT&CK 映射、EPSS 评分以及人工审批环节，并提供 FastAPI 后端、Web 仪表盘、CLI 工具和 Telegram 机器人接口。项目基于 Python 开发，采用 Apache-2.0 许可。
themanoj-025/AegisAI · AegisAI is an AI-powered security code review agent that analyzes GitHub pull requests, detects vulnerabilities, validates findings, redacts secrets, and posts actionable inline feedback before insecure code reaches production.
AegisAI 是一个基于 AI 的安全代码审查代理，通过 GitHub Webhook 接收 pull request 事件，提取 diff，经 Redis 队列交由 RQ Worker 处理：过滤噪声文件、重定向敏感信息、调用 Claude 或 GPT-4o 检测 12 类以上漏洞（SQL 注入、XSS、命令注入、硬编码密钥等），校验发现后以行内评论形式回写到 PR。项目使用 FastAPI + Redis + RQ 架构，提供 Docker 多阶段构建、HMAC-SHA256 签名校验、幻觉防护、Webhook 重试与死信队列及 Prometheus 指标。
Kenny27lokku/prompt-integrity-validator · Lint Your Prompts, Ship Better Agents – Prompt Refiner 2026 Rule Engine
Prompt Lint 是一个面向 AI 提示词模板的静态分析引擎，对发送给 Claude、ChatGPT、Gemini 等 LLM 的提示词做确定性的规则检查，而不改写内容。它提供 PR001–PR-INJ03 共 47 条规则，覆盖角色混淆、注入面暴露、分隔符逃逸、长度与冗余指令等问题，并支持 CLI、CI/CD 集成、JSON 与 HTML 报告、本地 Web 仪表盘以及通过自有 API Key 调用 OpenAI 与 Anthropic 接口进行模型特定校验。
pixeltable/pixeltable-vs-supabase-vs-convex · One video intelligence app built three ways, on Pixeltable, Supabase and Convex. Every number measured, all three executed, tradeoffs stated.
该仓库用同一份应用契约（视频抽帧、语音转写、多模态嵌入、场景检测与问答）在 Pixeltable、Supabase、Convex 三个平台上各实现一遍，并公开可复现的代码行数、编排跳数、延迟等指标与测试套件（契约测试、差分测试、韧性测试）。材料同时给出各平台在不同条件下胜负的权衡说明，包括作者承认 Pixeltable 在摄入与检索延迟上落后的场景，并明确指出实时能力、行级安全、托管数据库等场景下结论会改变。
wahhyun/llm-eval · Evaluate large language models with tools for performance and consistency scoring as part of the llm-cpp C++ infrastructure toolkit.
llm-eval 是一个用 C++ 编写的小型 LLM 提示测试工具，通过多次运行同一提示并比较回答，评估语言模型的回答一致性与稳定性，给出评分并标记差异过大的情况。它无需额外依赖，可单头文件形式嵌入 C++ 项目，也提供了可直接运行的 Windows 程序。
NVIDIA/SkillSpector · Security scanner for AI agent skills. Detect vulnerabilities, malicious patterns, security risks, prompt injection, data exfiltration, and supply-chain risks in Claude Code, Codex, and MCP skills before you install them.
SkillSpector 是 NVIDIA 发布的 AI agent 技能安全扫描器，用于在安装 Claude Code、Codex、Gemini CLI 等 agent 技能前发现漏洞、恶意模式、提示注入、数据外泄和供应链风险。它支持扫描 Git 仓库、URL、zip、目录或单个文件，内置 71 个漏洞模式（覆盖 17 个类别），采用静态分析加可选 LLM 语义评估的两阶段分析，并可输出终端、JSON、Markdown 和 SARIF 报告，同时提供 0-100 风险评分与基线误报抑制功能。项目还可作为 MCP 服务器运行，把安全扫描作为工具接入 agent 工作流以拦截不安全的技能安装。
SasanLabs/LLMForge · LLMForge is probably the most modern AI vulnerability lab for OWASP VulnerableApp — real-LLM-backed labs for prompt injection, LLM-orchestrated BOLA, and RAG attacks.
LLMForge 是 OWASP VulnerableApp 的 AI/LLM 漏洞模块，是一个故意存在漏洞的 FastAPI 应用，接入现有的 VulnerableApp-facade 生态，提供针对本地真实 LLM（通过 Ollama 运行）的攻防实验套件，而非模拟响应。它覆盖多个渐进难度的实验：提示注入（10 关，目标是提取系统提示中的隐藏密钥）、间接提示注入（4 关，外部内容中的隐藏指令）、LLM 编排导致的 BOLA（医疗聊天机器人，3 关）、RAG 上下文投毒（3 关）与 RAG 敏感数据泄露（4 关）。每个关卡通过声明式装饰器框架定义并标注已知攻击向量与载荷，用于自动生成关卡 UI 和与 facade 兼容的漏洞清单。项目定位为教育与防御性安全研究。