工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
vishalhabib99/fin-doctor · Checks the money facts in AI agents' answers before customers see them: stale or wrong IRS and SSA figures flagged with the right figure and its source. MCP server + Python.
fin-doctor 是一个面向金融 AI 智能体的事实核查工具，用 MCP 服务器 + Python 实现：它把草稿答案中的 IRS/SSA 官方数字（如 401(k)、IRA、HSA 限额、RMD 年龄、社保应税上限）与带年份和来源的注册表比对，标记过时、错年或错误数字，并给出正确数值与来源链接。它还提供贡献额度计算工具和退休问答审校（事实、投资建议、承诺性表述、范围外、提示注入检测），输出 SEND/REVIEW 判定。项目为参考性构建，未说明生产部署情况。
jakemanger/whatmodel · Find the best AI models you can run
whatmodel 是一个开源 AI 模型榜单工具，将 879 个模型依据 22,113 条已发布基准测试结果汇总为单一评分，并列出每个模型的 API 价格、本地运行所需内存以及运行命令。用户可以在网站或终端按自身电脑配置（内存、显存、是否有独立显卡）与预算过滤模型，覆盖 llm、图像、视频、TTS、STT 等多个类别，支持 LMArena 等基准子集筛选与自定义评分尺度。
ktwu01/benchmark-radar · Track 20,710+ AI benchmark, eval, dataset, and data-quality records from 39 public sources, with linked evidence and daily updates.
Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。
BN-KR/Tracify · Tracify is an AI observability platform that helps developers monitor, debug, and optimize AI agents in production. Trace every decision, tool call, failure, retry, latency spike, and cost in one clear view.
Tracify 是一个面向 AI Agent 的可观测性与故障防护平台，通过捕获 Agent 运行、LLM 生成、工具调用、成本、评测与失败信息，帮助团队理解发生了什么、定位并修复问题、验证修复效果并防止同类故障复发。它提供 TypeScript 与 Python SDK（包名 tracify-sdk），支持嵌套运行、自定义 span、重试与错误追踪，并配套数据集与评测器、Prompt 版本管理与部署标签、成本与运行时策略（SDK 失败开放）、区域端点与公开健康状态页面。架构上以 SDK/OTLP 接入 Next.js 摄取，经 Tinybird 存储高吞吐遥测数据、Convex 保存项目元数据与工作流状态，并输出到仪表盘。
vishalhabib99/vishalhabib99 · Vishal Habib: AI Product Manager. Agent evals, guardrails and MCP trust tooling, built in the open.
这是 Vishal Habib 的个人 GitHub 仓库，汇集其在开放环境下构建的智能体评测、护栏与 MCP 信任相关工具与案例。内容包括 MCP 服务器诊断（mcp-doctor）、模糊测试（mcp-fuzz）、现实性校验（mcp-reality-check）、信任检查（mcp-trust-check），以及面向 AI 产品经理的技能集合（ai-pm-skills）、智能体产品手册（agentic-product-playbook）和产品案例研究（ai-pm-portfolio）。同时包含金融科技场景下的答案核验（retirement-answer-check）、电商列表声明核验（listing-claim-check）、智能体交接检查（agent-handoff-check）等项目，以及公开的评测报告、红队测试结果和写作链接。
wangxiaoyang0412/consistency-illusion · [EMNLP 2026 Main] The Consistency Illusion: CARA metrics for cross-agent reasoning alignment in multi-agent LLM debate, and the Grounded Debate Protocol (GDP) for medical QA
该项目是 EMNLP 2026 论文《The Consistency Illusion》的官方代码与数据仓库，提出 CARA（跨智能体推理对齐）系列自动指标，用于衡量多智能体 LLM 辩论系统在答案一致时推理链是否真正一致，并揭示“一致性幻觉”——辩论虽减少表面矛盾，却可能降低推理语义相似度。仓库同时给出 Grounded Debate Protocol（GDP）提示级方案，通过 CLAIM/GROUND/STANCE 结构化推理在不增加 LLM 调用与智能体路由的前提下修复推理对齐。仓库包含 CARA 实现（步骤分解、DeBERTa-v3 NLI 矛盾检测、Stella 嵌入相似度、CARA-HYB）、GDP 与 M3 提示构建器，以及论文各表格、效应量、附录分析的复现脚本与逐题分数数据。
HumanStudy-Hub/HumanStudy-Bench · HumanStudy-Bench: Community Edition — Standardized human study replays for AI agent evaluation
HumanStudy-Bench 是一个标准化测试平台，用于让 AI 智能体回放人类被试实验。它由三部分构成：按已发表实验协议进行重建的执行引擎、一个持续扩充的可运行社会科学研究集合，以及从行为、效应和科学结论层面进行的评估。初始收录 12 项研究，覆盖认知、策略互动和社会心理学。项目提供直接提交 PR 的贡献路径（复制现有 study 目录结构、本地验证脚本、提交 PR），另有处于升级中的 HumanStudy-Hub 平台自动建研究路径。仓库结构包含 studies、src、playground、agent_pipeline、generation_pipeline、scripts、docs 和 tests。
Ayorinha/ayorai-opensearch · AYORAI ATTRACTOR — Evidence-first claim-level verification engine
AYORAI ATTRACTOR 是一个面向 AI 生成答案的可审计核验层：将答案拆解为单条 claim，与证据来源（含出处、偏移与溯源信息）关联，推导 stance（支持／矛盾／中立），再由**模型之外的确定性 Judge** 依据固定、带版本号的规则给出最终核验结论。结论状态包括 VERIFIED、SUPPORTED、PARTIALLY_SUPPORTED、UNVERIFIED、REFUTED、CONFLICTING；评估输入输出可用 SHA-256 做内容寻址以保证防篡改，并提供可复现的评测套件。当前领域为巴西电信监管（AnatEL RGC，标记 D10），项目自定位为研究与工程参考实现，明确声明不构成认证、法律意见或合规结论，评测数据为合成开发集且不构成生产泛化证据。
Electricpaper77/ai-rag-eval-platform · AgentTrust IQ: reliability layer for Microsoft Reasoning Agents with groundedness, citation, hallucination, safety, latency, and JSONL audit checks.
AgentTrust IQ 是一个模型无关的 AI Agent 可靠性与评测平台，在发布前对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查。它将可靠性检查转化为明确的 release、block 或 escalate 决策，并生成可回放的 JSONL 证据。默认工作流为确定性本地运行，可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，但基线工作流不依赖它。
jianruntech/geo-score · Can AI engines cite your site, and do they? Free 0–100 readiness score on an open GEO rubric, plus citation tracking via the OpenAI, Perplexity, Gemini and Claude APIs with your own keys. Zero dependencies, MCP server.
geo-score 是一个基于开放且版本化 GEO（生成式引擎优化）评分标准的网站审核工具，可在约 20 秒内给出 0–100 的 AI 可引用性评分，覆盖可抓取性、可理解性、内容可引用性、品牌可信度和答案契合度等 21 项分级检查。它还提供通过自带 API 密钥（OpenAI、Perplexity、Gemini、Anthropic、OpenRouter）向 AI 引擎提问以检查引用情况的能力，并支持按固定问题集每周追踪引用变化，同时提供本地 MCP 服务器与 Claude Code 技能接入。
dkships/ship-sense · Ranks frontier LLMs on product judgment: what to refuse to build, what the data can't say, when to hold a call.
Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。评分采用确定性的关键词匹配而非 LLM 评委，并给出对抗性策略与随机策略的可利用性下限；仓库还维护模型排行榜、代际对比与得分历史。
DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).
AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。
nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)
τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。
RyanAlberts/pmstack · Gstack for PMs. Eval Studio that you can plug-n-play anywhere.
pmstack 是一个面向产品经理的 AI 产品评测工具，通过 Eval Studio 让 PM 以客户视角阅读真实 trace，记录问题、归纳失败模式与成功模式，按阶段统计并转化为可复用的代码检查或 AI judge。项目提供网页版 Eval Studio、命令行工具以及供 Claude Code 等 agent 使用的技能，并强调 trace 与评审数据保留在本地、不自动上传。
api-evangelist/langwatch · LangWatch — independent third-party profile of a public API surface, by API Evangelist. LangWatch is an open-source LLM observability, evaluation, and AI agent testing platform. Built around OpenTelemetry-native tracing, LangWatch lets teams instrument LLM applications (LangChain, LangGraph, DSPy, OpenAI Agents, LiteLLM, Pydantic AI, CrewAI, AWS Be
LangWatch 是一个开源的 LLM 可观测性、评估与 AI Agent 测试平台，以 OpenTelemetry 原生 tracing 为核心，可对 LangChain、LangGraph、DSPy、OpenAI Agents、LiteLLM、Pydantic AI、CrewAI、AWS Bedrock 等 LLM 应用进行埋点观测。平台支持实时与批量的评估运行、prompt 版本管理与部署、基于剧本场景与 Judge Agent 的多轮 Agent 对话模拟、带标注的数据集管理，以及通过带预算和语义缓存的虚拟密钥 AI Gateway 治理模型流量。它提供 app.langwatch.ai 的 REST API、Python 与 TypeScript SDK 和 MCP server，发布配套的 scenario Agent 测试框架与 better-agents 标准，核心以 Apache-2.0 授权（ee/ 企业模块为商业许可），可部署为 LangWatch Cloud 或通过 Docker Compose、Helm、Kind 或完整 Kubernetes 自托管。
okht/eval-pi · 面向 AI 产品经理，一句话完成 Agent 的评测与调优。
EvalPi 是一个面向 AI 产品经理的工具，目标是让用户结合 PRD 与评测标准，用一句话完成 Agent 的评测、问题分析、调优与效果验证。README 未提供安装方式、部署环境、依赖条件或使用限制等信息。
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
kousalya-pm/ai-foundation-models-lab · Hands-on experiments across time-series and security foundation models: zero-shot forecasting, evaluation, RAG, and LoRA fine-tuning — from a product management perspective.
该项目是一组以 Jupyter Notebook 形式记录的动手实验，从产品管理视角探索基础模型的生命周期：使用 Cisco CTSM 进行单变量零样本时序预测并测试噪声、缺失数据和异常下的鲁棒性；在本地以 Q4_K_M GGUF 量化运行 Cisco Foundation-Sec-1.1-8B-Instruct 安全领域模型，构建评测数据集并从分类准确率、MITRE 技术映射、证据完备性、延迟等多维度评分；用 TF-IDF 与语义向量检索对比实现安全策略 RAG，诊断检索、生成与拒答等失败模式；并在 Qwen2.5-0.5B 与 Foundation-Sec 上对比 LoRA 微调效果。仓库保留了每项实验的原始数字、失败模式与局限性说明，并给出面向产品团队的经验总结和平台能力建议。
Kenny27lokku/prompt-integrity-validator · Lint Your Prompts, Ship Better Agents – Prompt Refiner 2026 Rule Engine
Prompt Lint 是一个面向 AI 提示词模板的静态分析引擎，对发送给 Claude、ChatGPT、Gemini 等 LLM 的提示词做确定性的规则检查，而不改写内容。它提供 PR001–PR-INJ03 共 47 条规则，覆盖角色混淆、注入面暴露、分隔符逃逸、长度与冗余指令等问题，并支持 CLI、CI/CD 集成、JSON 与 HTML 报告、本地 Web 仪表盘以及通过自有 API Key 调用 OpenAI 与 Anthropic 接口进行模型特定校验。