评测与安全工具
Ship Sense：按产品判断力对前沿大模型排名的评测基准
dkships/ship-sense · Ranks frontier LLMs on product judgment: what to refuse to build, what the data can't say, when to hold a call.
ELI5：它是什么，解决什么问题
Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。评分采用确定性的关键词匹配而非 LLM 评委，并给出对抗性策略与随机策略的可利用性下限；仓库还维护模型排行榜、代际对比与得分历史。
核心能力与快速开始
★ 1 · Python
- 能做什么
- 以 82 个私有案例评测前沿大模型的产品判断力，分为克制、诚实、坚持三个维度并给出 0–1 的加权正确率和总分；使用确定性关键词匹配评分而非 LLM 评委；每轮版本给出排行榜、带置信区间的得分、排名区间与 P(#1)，并附模型间配对检验结果；提供当前代与上一代模型的代际对比表和跨版本得分历史。
- 适用场景
- 用于对比不同实验室前沿模型在“该拒绝做什么、数据能支撑什么结论、何时在压力下保持判断”这类产品决策行为上的表现；帮助在多个模型之间做选型参考，结合价格列评估判断力与成本的权衡。
- 项目形态
- 资料合集
- 部署方式
- 未说明
- 主要依赖
- 未说明
- 使用限制
- 评分结果仅在同一个基准版本内可比，不同版本之间不可直接比较；部分新增模型在发布日加入的测试不具有决定性；仓库材料未说明数据的授权与可复现条件，也未说明部署或本地运行要求。
- 许可证
- MIT
- 最近推送
- 2026-09-30 02:48
资料检查：2026-09-30 07:00 · 卡片整理：2026-09-30 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容
职业应用
产品经理
产品经理可用 Ship Sense 的评测基准与排行榜，比较前沿大模型在“该做、该延后还是该砍掉某个功能”以及 AI agent 可自主行动到何种程度上的产品判断力，为选型或评估模型在功能取舍、数据结论边界和压力下坚持判断等决策场景中的表现提供参考。
查看内容依据
Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。