← 返回列表
评测与安全综合合集

vishalhabib99：AI 产品经理的开源作品集——智能体评测与 MCP 信任工具

vishalhabib99/vishalhabib99 · Vishal Habib: AI Product Manager. Agent evals, guardrails and MCP trust tooling, built in the open.

GitHub原文发布 未知首次收录 2026-10-14上架 2026-10-14 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

这是 Vishal Habib 的个人 GitHub 仓库，汇集其在开放环境下构建的智能体评测、护栏与 MCP 信任相关工具与案例。内容包括 MCP 服务器诊断（mcp-doctor）、模糊测试（mcp-fuzz）、现实性校验（mcp-reality-check）、信任检查（mcp-trust-check），以及面向 AI 产品经理的技能集合（ai-pm-skills）、智能体产品手册（agentic-product-playbook）和产品案例研究（ai-pm-portfolio）。同时包含金融科技场景下的答案核验（retirement-answer-check）、电商列表声明核验（listing-claim-check）、智能体交接检查（agent-handoff-check）等项目，以及公开的评测报告、红队测试结果和写作链接。
# MCP# evaluation# llm-security# agent-safety# tool-calling

核心能力与快速开始

★ 0

能做什么
提供多个开源工具与技能：mcp-doctor 扫描并评分 MCP 服务器的工具可用性，支持通过 Issue、GitHub Action 和 Claude Code 插件运行；mcp-fuzz 检查 MCP 服务器是否干净失败；mcp-reality-check 识别虚假成功响应；mcp-trust-check 将三者组合为一个 GitHub Action，输出 SHIP、FIX-FIRST 或 BLOCK 决策。ai-pm-skills 提供 /build-or-not、/eval-plan、/agent-trust-review 等 Claude Code 技能。agentic-product-playbook 总结智能体在生产环境中失败的 7 种方式及模板。此外包含具体领域项目：retirement-answer-check 在客户看到前检查 AI 对退休账户问题的草拟答案，决定 SEND 或 REVIEW；listing-claim-check 核对 AI 撰写的商品列表与卖家商品规格，决定 PUBLISH 或 REVIEW；agent-handoff-check 检查智能体间交接是否与客户授权一致，决定 ACT、ESCALATE 或 BLOCK。所有项目均公开报告评测结果与失败案例。
适用场景
适用于 AI 产品经理、智能体开发者与 MCP 服务器维护者：扫描和诊断自有 MCP 服务器的工具可用性、通过模糊测试发现服务器异常、对 AI 输出进行来源核验与红队测试、在智能体交接环节实施权限与信任检查、以及参考 AI 产品管理技能与案例研究来规划评测、发布门禁和治理流程。
项目形态
资料合集
部署方式
未说明
主要依赖
未说明
使用限制
材料未说明具体部署条件、硬件要求、API 成本与许可限制；部分项目（如 ai-pm-skills）依赖 Claude Code，但未提供完整安装与运行说明。
许可证
未说明
最近推送
2026-10-13 08:52
官方入门核对 README 依据 ↗

资料检查：2026-10-14 07:00 · 卡片整理：2026-10-14 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

程序员可使用 mcp-doctor 检查 MCP 服务器工具是否可被智能体实际使用，通过 GitHub Action 在 PR 中扫描并修复，或使用 Claude Code 插件在开发时扫描；mcp-fuzz 检查服务器是否干净失败，mcp-reality-check 捕获虚假成功响应，mcp-trust-check 将三者作为 GitHub Action 运行并决定 SHIP、FIX-FIRST 或 BLOCK。

查看内容依据
🩺 [`mcp-doctor`](https://github.com/vishalhabib99/mcp-doctor): **for MCP server maintainers: can an agent actually use your tools?** Open an issue with your repo URL and a bot replies with a graded report, or use the [GitHub Action](https://github.com/vishalhabib99/mcp-doctor#github-action) (one-click fixes on every PR) or the [Claude Code plugin](https://github.com/vishalhabib99/mcp-doctor#claude-code-plugin) (scan and fix while you build).

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

AI 产品经理可使用 ai-pm-skills 中的 Claude Code 技能（/build-or-not、/eval-plan、/agent-trust-review）辅助产品决策与评测规划，并参考 agentic-product-playbook 了解 AI 智能体在生产环境中的失败模式与模板，以及 ai-pm-portfolio 中的 PRD、原型和评测案例。

查看内容依据
🧭 [`ai-pm-skills`](https://github.com/vishalhabib99/ai-pm-skills): Claude Code skills (`/build-or-not`, `/eval-plan`, `/agent-trust-review`), each tested against gates set before the first run.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Guardian SDK：为 Python LLM 与 Agent 应用提供实时威胁检测与拦截

Ethicore Engine 的开源组件 Guardian SDK 面向 Python LLM 与智能体应用，通过多层检测管线在输入、输出、工具调用与工具返回等环节拦截提示注入、越狱、角色劫持、系统提示提取等攻击，支持文本、图像、音频和视频多种模态。社区版以 pip 安装、本地运行，覆盖 7 类威胁；API 与自托管版本覆盖 160+ 类威胁并提供智能体管线防护，具体部署、成本与限制需参考官方说明。

Wavefunction：macOS 桌面开源编程 Agent

Wavefunction 是一款面向 macOS 的开源桌面编码 Agent，支持本地 Ollama 模型、自带 API 密钥或 ChatGPT 登录。它提供并行会话、隔离工作树、子 Agent 协助、定时例程，并通过 MCP 连接器和 SKILL.md 技能扩展工作流；计算机使用功能运行在本地 Docker 容器中，避免直接控制用户桌面。项目采用 MIT 许可证，模型使用费用由供应商收取。

ChatVia.ai：基于自有知识库的自托管 AI 聊天 Agent 平台

ChatVia.ai 是一个自托管的 AI 聊天 Agent 平台，让 Agent 基于自有知识库回答。它在 PostgreSQL 内做向量与关键词的混合 RAG 检索，支持 MCP 服务器与自定义工具、内容护栏与人工接管，并将 Agent 发布到托管聊天页、网站组件、多个即时通讯渠道或 REST API。项目可选用 Docker 或 Ubuntu 安装，并支持前沿模型与开放权重模型。

ai-tutorial：AgentScope Java 中文教程书架，覆盖 Agent、MCP、RAGFlow 与 CopilotKit 的入门到进阶

这是一个面向团队教程书架的开源仓库，包含多本“从入门到进阶”的中文教程书，每本自带书稿、图片和动手 Demo。已发布 AgentScope Java 2.0（7 篇 44 章，从第一个 Agent 到生产级 Agent 平台）、MCP（4 篇 12 章，跨框架工具接入协议）、RAGFlow（4 篇 13 章，从搭建知识库到生产级检索调优）、CopilotKit（4 篇 8 章，在 React 应用中接入 AI Agent），Langfuse 书还在规划中。仓库还提供按角色（开发、测试、运维、产品、运营）划分的学习路线，以及站点和单书 PDF 的构建说明，可用于团队学习 Agent 开发、RAG 知识库、前端 AI 集成与工具协议。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。