pmstack：面向产品经理的 AI 产品失败模式发现与评测工具

核心能力与快速开始

★ 8 · JavaScript

能做什么

提供 Eval Studio 网页应用（六个标签页：设置、评审 trace、失败模式、漏斗、检查、报告），帮助产品经理逐条阅读 trace、标记 Good/Problem 并写笔记；把笔记归纳为命名失败模式与成功模式，再按阶段统计并排序优先级；将值得跟踪的失败模式转化为代码检查（可计算机执行的规则）或 AI judge（向模型提问判定通过/失败）；通过留出标注集评估 AI judge 的召回与误报，并给出估计的真实失败率区间；针对使用工具的 agent，提供策略合规、工具选择相关性、输出与工具结果一致性三类检查。附带六个示例产品（牙科预约、外联邮件、政策问答、礼物推荐、PR 评审、互联网服务商支持 agent）。此外提供十二个可供 Claude Code 及其他读取 skills 的 agent 使用的技能，以及命令行工具（导入 trace、运行检查、计算一致性、运行 judge、策略检查、生成报告与回归集）。

适用场景

适合 AI 产品经理或评测人员在没有合适指标的早期阶段，通过人工阅读真实对话或任务 trace 找出产品失败点；用于把零散的人工观察归纳成可跟踪的失败模式并确定修复优先级；用于为具体失败模式构建并校验 AI judge，避免直接信任 judge 数字；用于检查 agent 工具调用的策略合规、工具选择合理性和回复与工具结果的一致性；用于生成可交给工程团队的回归集和报告；也可在尚无真实 trace 时借助技能生成 trace 起步。

项目形态

可直接使用的工具

部署方式

网页版 Eval Studio 可在线访问，trace 与评审数据保存在浏览器存储中；本地运行需 Node 20 或更新版本，`pmstack studio` 仅监听 127.0.0.1，数据以纯文件形式保存在 trace 同级的 `pmstack/` 文件夹内；AI 辅助仅在用户主动触发时运行，可粘贴提示到公司批准的 AI 助手，或用自定义模型命令运行 judge。

主要依赖

本地运行需要 Node 20 或更新版本，README 称除此之外无需其他依赖；运行 AI judge 需要用户自备可用的模型命令；Claude Code 技能需要 Claude Code 或能读取 skills 的 agent。

使用限制

README 未说明具体的模型 API 成本、性能上限或大规模 trace 下的表现；AI judge 是提示词，本身会出错，需用留出标注集先行测量；项目遵循的是 Hamel Husain 与 Shreya Shankar 的错误发现方法，强调先读 trace 再定指标；材料未说明部署到多用户协作环境的具体条件。

许可证

MIT

最近推送

2026-09-25 08:52

资料检查：2026-09-26 07:00 · 卡片整理：2026-09-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可使用命令行工具对 trace 运行代码检查、计算检查与标签的一致率、运行 AI judge、检查工具调用是否符合公司策略，并生成报告与回归集交给工程使用。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

产品经理可用 Eval Studio 以客户视角阅读真实 trace，标记 Good/Problem 并记录问题，将笔记归纳为失败模式与成功模式，按阶段统计漏斗，并把关键失败模式转化为代码检查或 AI judge，用于 AI 产品的评测与迭代。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证