AI 资源库 · 已整理 18 项
查看与评测与安全相关的 AI 资讯、工具、Skill、工作流和开源项目。
aamirtechs/vibe-pm-kit · The product management kit for vibe coding: specs an AI can build, prompt briefs, eval scorecards, dataset cards, and honest playbooks for training and tuning models, plus a zero-dependency spec linter.
vibe-pm-kit 是一个面向 AI 辅助编程场景的产品管理套件，提供 AI 可执行的规格文档、提示词简报、评测记分卡、数据集卡片和模型训练与调优的实操指南，并附带零依赖的 Python 规格检查 CLI（spec_lint.py），按九个章节给 Markdown 规格打分（满分 100），支持 --check 和 --min-score 用于 CI 门禁，另提供浏览器端规格评分页面。
hncpyj/research-agent-lab · Multi-agent research pipeline: arXiv retrieval to gap analysis to runnable experiments to AI-judge peer review
ResearchAgentLab 是一个本地优先的研究控制工作区与参考实现，按八个可追踪阶段组织科研流程：论文收集、文献综述、研究空白分析、研究问题与假设审批、冻结实验设计、受控执行、结果验收和报告审查。项目重点解决“静默科学目标漂移”问题，通过审批边界、版本化产物、哈希绑定、科学一致性与软件预检分离等机制，保持从已批准意图到实现产物、结果和报告主张之间的可审计对应关系，并提供来源追踪、多模型路由、用量与成本记录以及 Markdown、LaTeX、PDF 报告输出。
BN-KR/Tracify · Tracify is an AI observability platform that helps developers monitor, debug, and optimize AI agents in production. Trace every decision, tool call, failure, retry, latency spike, and cost in one clear view.
Tracify 是一个面向 AI Agent 的可观测性与故障防护平台，通过捕获 Agent 运行、LLM 生成、工具调用、成本、评测与失败信息，帮助团队理解发生了什么、定位并修复问题、验证修复效果并防止同类故障复发。它提供 TypeScript 与 Python SDK（包名 tracify-sdk），支持嵌套运行、自定义 span、重试与错误追踪，并配套数据集与评测器、Prompt 版本管理与部署标签、成本与运行时策略（SDK 失败开放）、区域端点与公开健康状态页面。架构上以 SDK/OTLP 接入 Next.js 摄取，经 Tinybird 存储高吞吐遥测数据、Convex 保存项目元数据与工作流状态，并输出到仪表盘。
embodiedreasoning/ERQA · Embodied Reasoning Question Answer (ERQA) Benchmark
ERQA 是 Google DeepMind 随 Gemini Robotics 发布一并开源的多模态具身推理评测基准，聚焦真实世界场景中的空间推理与世界知识，尤其是机器人情境。题目由图像与文本交错的单选题构成，答案以 A/B/C/D 单字母给出，共 400 道题，以 TFRecord 格式提供。仓库附带数据加载示例，以及一个轻量级评测脚本，可调用 Gemini 2.0 或 OpenAI 的多模态 API 在 ERQA 上作答并评估。
facebookresearch/textseal · Codebase for generation-time and post-hoc text watermarking, as well as watermark radioactivity detection.
Text Seal 是 Meta 开源的文本水印工具包，覆盖三条技术路线：TextSeal 双密钥生成阶段水印（支持投机解码与局部检测）、通过 LLM 改写实现的后处理水印（Green-list/Red-list、Gumbel-max、DipMark、SynthID、MorphMark、WaterMax 等方案），以及基于「水印放射性」的基准数据污染检测。仓库同时提供分布式预训练与 SFT 训练基础设施，并支持污染注入以开展研究实验，可用于内容溯源验证、数据集污染检测与水印算法研究。
fstandhartinger/jevbench · JevBench v1 - a benchmark for Jev-class typed decision models: smart, cheap, fast, reliable, open.
JevBench 是 Benchmark Heaven 自研的基准测试，用于评测 Jev 类决策模型：给模型一段状态和一个有界评分规则，要求它返回结构化选项答案并尽量给出每个选项的概率，不需要散文式输出或解析。评分由 Intelligence（机会校正后的准确率）、Calibration、Speed、Cost 四个等权轴合成 JevBench Score，并按版本迭代维护公开排行榜。仓库提供冻结的评分方法文档、聚合结果 JSON、部分公开数据集与各系统适配器代码，并区分公开题与私有留存题。
featherless-ai/simple-jev · Turn any open model into a classifier/jev endpoint
Simple Jev 让兼容的开源模型（如 Hugging Face 上的 Qwen、Gemma、Laya 系列）无需额外训练分类头即可用于结构化分类与评分。请求包含共享上下文（state 或 messages）和若干问题，服务端读取模型在候选标签上的 next-token logits，自行构造 JSON 响应，返回 choice（多选一）、score（量表打分）和 noul（真值/支持度判断）三类结果，输出不依赖模型生成文本。项目包含基于 Hugging Face Transformers 与 PyTorch 的本地服务、供其他推理实现复用的 Python common 规则模块、以及带 JevBench 打分、文本/决策与视觉套件、提示格式搜索的评测框架。
seppn/juno-pm · for AI Product management course
Juno PM 是一个 AI 产品管理认证的结业项目仓库，围绕"Juno"这一 AI 产品概念展开：一个能把 #escalations 中的 P0 升级线程自动读取策略一页纸与近期工单，并生成带引用与置信度评分的优先级草稿的 Agent 工作流，草稿只有经 PM 点击确认后才会写入 Jira。仓库以文档为主，包含各模块产出物：系统提示词、构建/购买/微调决策矩阵、AI 策略一页纸、含检索需求的 AI PRD、AI 原生用户流程与信任缺口缓解、Agent 工作流规范（AWSpec）与 Agent 控制面板、分层评测栈与人工评测评分表，以及 PM 执行计划（迭代排期、监控指标、红线与治理）。
pedringt/ai-learning · Applied AI product portfolio featuring State, a human-in-the-loop system for maintaining trustworthy project understanding.
State 是一个“维护项目理解”工具，用于持续保存项目当前视为真实的事实，而不是每次提问都从项目历史中重建理解。其核心规则是“AI 解释、软件执行、人授权”：Evidence 作为不可变的原始记录，AI 只能提出解释或变更建议（Reviews），Current State 的变更必须经过人类明确授权，并以原子方式更新 Current State 与 History；Ask 提供只读的综合问答，始终区分已接受事实、待审提案、开放问题与证据。项目包含 FastAPI 后端、前端原型、SQLite/Postgres 迁移、确定性测试、浏览器 QA 与部署流程，并支持 Slack 集成，属于应用型 AI 作品集与学习产品。
DTiapan/AgentEval · Open-source agent assurance: turn a PRD and agent URL into frozen test suites with evidence-backed PASS/FAIL/UNVERIFIABLE verdicts. Web console, REST API, SQLite. Domain packs for regulated teams (fintech, insurance, health).
AgentEval 是一个开源的智能体验证平台，可将产品需求文档（PRD）与智能体 URL 转化为冻结的测试套件，并通过 HTTP 以黑盒方式运行测试，给出带有证据支撑的 PASS / FAIL / UNVERIFIABLE 判定。它提供 Web 控制台、REST API 与 SQLite 持久化，强调需求可追溯、稳定需求 ID、测试套件同步与领域包扩展机制，定位于金融科技、保险、医疗等受监管行业中需要合规证明而非单纯看板的团队。
QCon AI 纽约 2026 大会已经确定了 23 场会议，主题包括 Agent 授权、生产环境防护栏、共享推理基础设施，以及 AI 系统上线后如何评估效果。写这篇文章的是 Artenisa Chatziou。简单说，这是一场技术大会的日程预告，告诉大家届时会聊哪些 AI 落地中绕不开的实操话题。具体每场会议的讲师、时间和详细内容原文没有说明。
提供的材料未提及具体可用工具。
RudrenduPaul/agent-eval · Statistical regression testing for LLM agents: p-value, effect size, and 95% CI on real behavior shifts vs. noise.
Agent Evaluation 对 LLM Agent 的两个版本各运行多次，通过 Mann-Whitney U 检验、Cohen's d 效应量和 Bootstrap 95% 置信区间，判断行为变化是真实回归还是 LLM 运行噪声。项目提供 agent-regress CLI、Python API、MCP 服务器以及可用于 CI 的回归门控（RegressionGate、assert_stable），支持接入 LangGraph、CrewAI、OpenAI Agents SDK 等 Agent 框架，Apache 2.0 许可，可自托管。
TypeSafe AI 在 2026 年 9 月发布了 Jev，它专门用来做决定：你给它一段状态（字符串或 JSON 对象）和一组带类型的问题，它直接返回带概率的类型化答案，不做解释。过去评估管道为了让文本生成模型给出一个“是/否”判断，要套 JSON 模板并支付生成成本，其实只为一个比特的信息。Jev 正好为此而生，可以接入 Datadog Agent 可观测性的两种评估场景：对线上真实 span 的在线评估，以及对数据集做离线评估的实验，而且同一套评分标准可以两边共用。这样评估更快、更省，还能把模棱两可的判断交给人工复核。
文章作者做了一个实验：给 GitLab 公开文档做了一个聊天问答系统，拿一句包含五个不同问题的话去测试。主流做法是把复杂问题拆成五个小问题分别检索，再合并、重排、塞进有限的上下文窗口。结果五个正确答案虽然都被检索到了，但最终只有一条被保留，另外四条被排在前面的答案挤掉了；不拆分反而能保留三条。作者把这种现象叫“上下文饥饿”：某个子问题虽然找到了答案，却在最后分配上下文空间时被挤掉，而且常规召回率指标完全看不出来。文章指出，查询分解只解决了检索阶段的问题，分配阶段仍由“谁分高谁上”的不公平策略决定，需要引入公平性约束。目前这是作者在 GitLab 公开文档上做的实验，配套评测方法尚未说明是否开放使用。
LangSmith 把它的智能助手 Engine 升级到 v2，帮开发者修 Agent 更省力。过去它只能分析上线后的运行记录，找出错误和没满足的用户需求，但有些问题比如回答胡编、延迟变慢、花钱变多，人不容易发现，修好的补丁也得自己先测。这次 v2 增加“红队测试”，主动模拟攻击提前找漏洞；还能发现低效路径和性能趋势；并且会用实际输入自动验证修复方案，确认有效后再让人点一下发 PR。目前 v2 对所有 LangSmith Plus 和 Enterprise 计划开放，红队和自动验证修复处于 Private Beta，仅限已用 LangSmith Deployment 的用户。
AdolphoIgor/actf-core · Enterprise Distributed Continuous Training (CT) and Model Governance Platform
ACTF Core 是一个面向受监管行业（RegTech、FinTech、医疗等）的企业级参考架构，用于基础模型的自动化持续预训练、领域适配与监督微调（SFT）。平台将关系型数据湖仓、分布式计算集群、内存自动微分引擎与自动化统计评估防火墙串联为一个不可变、确定性的训练闭环，并提供五级质量防火墙，在存储契约、数据泄漏边界、张量图稳定性与统计非劣性等环节进行把关，最后通过 MLflow 模型注册表别名（@champion）完成候选模型晋升。
VibeCodyH/code-review-cadre · Benchmark AI code reviewers on YOUR repo. Mines fix commits for answer keys, grades HIT/DEFER/MISS, and staffs a panel of models that fail in different places.
Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。
ada994/prism-bench · 🌐 Benchmark models using the PRISM framework and access the FLUX-Reason-6M dataset for improved AI performance evaluation.
prism-bench 是论文《FLUX-Reason-6M & PRISM-Bench: A Million-Scale Text-to-Image Reasoning Dataset and Comprehensive Benchmark》的官方资源仓库，提供百万级文本到图像推理数据集 FLUX-Reason-6M 和 PRISM 基准评测工具，用于评估和改进 AI 的文本到图像推理性能。README 主要描述如何从发布页下载运行应用，并列出数据集访问与基准分析等特性。