综合合集
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
展开详情收起详情：llm-agent-experiments：多智能体流水线中开源权重模型的角色级替换评测⌄
程序员作为多智能体流水线中角色级模型替换的评测模板与数据集，程序员可参考其预注册协议、8 项二元评分准则、盲评流程和成本效率指标，评估开源权重模型能否替代专有基线模型承担研究综合等子代理角色；仓库还公开了逐次运行得分、延迟日志与 SCOUT 交接 JSON，可用于复现和比较模型表现。
★ 3 · 资料合集
原文发布：未知收录：2026-10-20
综合合集
ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!
这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。
展开详情收起详情：Awesome-LLM-Evaluation-Testing：LLM 评测与测试资源合集⌄
程序员作为 LLM 应用开发者的选型清单，检索并比较开源评测器、RAG 评测库、提示词回归测试工具、Agent 评测框架和可观测性平台，用于在 CI/CD 中测试 LLM 输出、检测幻觉与提示词回归。
★ 0 · 资料合集
原文发布：未知收录：2026-10-19
综合合集
ktwu01/benchmark-radar · Track 20,710+ AI benchmark, eval, dataset, and data-quality records from 39 public sources, with linked evidence and daily updates.
Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。
展开详情收起详情：Benchmark Radar：AI 基准与评测记录的持续采集与检索数据库⌄
程序员程序员在开发或评估 AI 系统时，可通过该数据库检索 AI 基准与评测记录，查看基准论文、仓库、数据集、模型分数与测试条件，并利用 CLI 或 coding agent 技能进行离线查询，辅助评测选型与结果核对。
产品经理产品经理在规划 AI 产品时，可借助该数据库的基准前沿排行榜、Pareto 前沿、饱和与趋势视图，了解模型能力评测与基准采用趋势，为技术选型和产品决策提供参考。
★ 294 · 可直接使用的工具
原文发布：未知收录：2026-10-16
综合合集
vishalhabib99/vishalhabib99 · Vishal Habib: AI Product Manager. Agent evals, guardrails and MCP trust tooling, built in the open.
这是 Vishal Habib 的个人 GitHub 仓库，汇集其在开放环境下构建的智能体评测、护栏与 MCP 信任相关工具与案例。内容包括 MCP 服务器诊断（mcp-doctor）、模糊测试（mcp-fuzz）、现实性校验（mcp-reality-check）、信任检查（mcp-trust-check），以及面向 AI 产品经理的技能集合（ai-pm-skills）、智能体产品手册（agentic-product-playbook）和产品案例研究（ai-pm-portfolio）。同时包含金融科技场景下的答案核验（retirement-answer-check）、电商列表声明核验（listing-claim-check）、智能体交接检查（agent-handoff-check）等项目，以及公开的评测报告、红队测试结果和写作链接。
展开详情收起详情：vishalhabib99：AI 产品经理的开源作品集——智能体评测与 MCP 信任工具⌄
程序员程序员可使用 mcp-doctor 检查 MCP 服务器工具是否可被智能体实际使用，通过 GitHub Action 在 PR 中扫描并修复，或使用 Claude Code 插件在开发时扫描；mcp-fuzz 检查服务器是否干净失败，mcp-reality-check 捕获虚假成功响应，mcp-trust-check 将三者作为 GitHub Action 运行并决定 SHIP、FIX-FIRST 或 BLOCK。
产品经理AI 产品经理可使用 ai-pm-skills 中的 Claude Code 技能（/build-or-not、/eval-plan、/agent-trust-review）辅助产品决策与评测规划，并参考 agentic-product-playbook 了解 AI 智能体在生产环境中的失败模式与模板，以及 ai-pm-portfolio 中的 PRD、原型和评测案例。
★ 0 · 资料合集
原文发布：未知收录：2026-10-14
综合合集
yeasy/ai_security_guide · 从原理到实践，全面掌握大语言模型安全攻防之道
这是一本系统讲解大语言模型与智能体安全的中文书籍，从攻击原理、防御机制到验证方法循序渐进。内容覆盖提示注入、RAG 安全、智能体攻击面、身份与架构防御，以及治理交付等主题。书中提供邮件助手、支付预算和 RAG 轨迹三个基于 Python 标准库与合成数据的配套实验，帮助读者在保留正常效用的前提下分别验证控制措施。阅读与实验入门均在 README 和在线 GitBook 中给出。
展开详情收起详情：ai_security_guide：大语言模型与智能体安全攻防指南⌄
程序员程序员可依据本书学习大语言模型与智能体的安全攻防，并运行仓库根目录下基于 Python 标准库与合成数据的邮件助手、支付预算和 RAG 轨迹三个配套实验，验证授权、参数绑定、ACL 等控制措施。
★ 110 · 资料合集
原文发布：未知收录：2026-10-08
综合合集
DataDog/malicious-software-packages-dataset · An open-source dataset of malicious software packages found in the wild.
该项目由 DataDog 维护，是一个收录野外发现的恶意软件包的开源数据集，目前包含超过 28623 个样本，覆盖 npm、PyPI、IDE 扩展和 AI Skills 等生态。样本按生态及「良性包被投毒版本」与「以投递恶意软件为目的」分类存放，压缩为密码为 infected 的加密 ZIP；各生态目录附带 manifest.json，可用于按包名和版本快速判断是否属于已知恶意包。数据集主要用于软件供应链安全研究、检测规则（如 GuardDog）验证与本地分析。
展开详情收起详情：malicious-software-packages-dataset：开源恶意软件包数据集，用于软件供应链安全研究⌄
程序员程序员在进行软件供应链安全研究、代码审查或依赖排错时，可使用该数据集按包名和版本快速判断某个 npm、PyPI、IDE 扩展或 AI Skills 包是否属于已知恶意包，并提取样本进行本地分析。
★ 382 · 资料合集
原文发布：未知收录：2026-10-03
综合合集
RyanAlberts/pmstack · Gstack for PMs. Eval Studio that you can plug-n-play anywhere.
pmstack 是一个面向产品经理的 AI 产品评测工具，通过 Eval Studio 让 PM 以客户视角阅读真实 trace，记录问题、归纳失败模式与成功模式，按阶段统计并转化为可复用的代码检查或 AI judge。项目提供网页版 Eval Studio、命令行工具以及供 Claude Code 等 agent 使用的技能，并强调 trace 与评审数据保留在本地、不自动上传。
展开详情收起详情：pmstack：面向产品经理的 AI 产品失败模式发现与评测工具⌄
程序员程序员可使用命令行工具对 trace 运行代码检查、计算检查与标签的一致率、运行 AI judge、检查工具调用是否符合公司策略，并生成报告与回归集交给工程使用。
产品经理产品经理可用 Eval Studio 以客户视角阅读真实 trace，标记 Good/Problem 并记录问题，将笔记归纳为失败模式与成功模式，按阶段统计漏斗，并把关键失败模式转化为代码检查或 AI judge，用于 AI 产品的评测与迭代。
★ 8 · 可直接使用的工具
原文发布：未知收录：2026-09-26
综合合集
egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer
该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。
展开详情收起详情：egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽⌄
程序员作为 AI 评测与测试工程师的工作系统枢纽，该仓库汇总了用于 LLM 回归探测、可验证评测（能力契约与可重放证据包）、确定性评分引擎、RAG 评测、LLM 网关、MCP 服务器和 LangGraph 代理等的小型仓库，并给出各仓库之间的真实数据流，程序员可据此参考或复用这些评测、测试与 CI 门禁工具。
★ 0 · 资料合集
原文发布：未知收录：2026-09-25
综合合集
kousalya-pm/ai-foundation-models-lab · Hands-on experiments across time-series and security foundation models: zero-shot forecasting, evaluation, RAG, and LoRA fine-tuning — from a product management perspective.
该项目是一组以 Jupyter Notebook 形式记录的动手实验，从产品管理视角探索基础模型的生命周期：使用 Cisco CTSM 进行单变量零样本时序预测并测试噪声、缺失数据和异常下的鲁棒性；在本地以 Q4_K_M GGUF 量化运行 Cisco Foundation-Sec-1.1-8B-Instruct 安全领域模型，构建评测数据集并从分类准确率、MITRE 技术映射、证据完备性、延迟等多维度评分；用 TF-IDF 与语义向量检索对比实现安全策略 RAG，诊断检索、生成与拒答等失败模式；并在 Qwen2.5-0.5B 与 Foundation-Sec 上对比 LoRA 微调效果。仓库保留了每项实验的原始数字、失败模式与局限性说明，并给出面向产品团队的经验总结和平台能力建议。
展开详情收起详情：AI Foundation Models Lab：从产品管理视角动手探索基础模型的零样本预测、评测、RAG 与 LoRA 微调⌄
产品经理产品经理可参考该仓库从产品管理视角进行的基础模型实验，包括零样本时序预测、安全领域模型评测、RAG 与 LoRA 微调对比，以及面向产品团队的经验总结和平台能力建议，用于理解基础模型生命周期、评估模型质量与延迟等产品权衡。
★ 0 · 研究实现
原文发布：未知收录：2026-09-23
综合合集
pixeltable/pixeltable-vs-supabase-vs-convex · One video intelligence app built three ways, on Pixeltable, Supabase and Convex. Every number measured, all three executed, tradeoffs stated.
该仓库用同一份应用契约（视频抽帧、语音转写、多模态嵌入、场景检测与问答）在 Pixeltable、Supabase、Convex 三个平台上各实现一遍，并公开可复现的代码行数、编排跳数、延迟等指标与测试套件（契约测试、差分测试、韧性测试）。材料同时给出各平台在不同条件下胜负的权衡说明，包括作者承认 Pixeltable 在摄入与检索延迟上落后的场景，并明确指出实时能力、行级安全、托管数据库等场景下结论会改变。
展开详情收起详情：Pixeltable vs Supabase vs Convex：同一视频智能应用三种实现的量化对比基准⌄
程序员作为视频智能应用后端实现的参考基准，程序员可对比 Pixeltable、Supabase、Convex 三种实现同一契约（视频抽帧、语音转写、多模态嵌入、场景检测与问答）的代码行数、编排跳数、延迟等指标，并复用其契约测试、差分测试与韧性测试套件来评估或选择技术栈。
★ 0 · 资料合集
原文发布：未知收录：2026-09-18
综合合集
SnailSploit/Claude-Red · claude-red is a curated library of offensive security skills designed for the Claude skills system. Each skill is a structured SKILL.md file that primes Claude with expert-level methodology for a specific attack surface — from SQLi to shellcode, EDR evasion to exploit development.
claude-red 是一个面向 Claude Skills 系统的进攻性安全技能库，包含 78 个按类别组织的 SKILL.md 文件，覆盖 SQL 注入、XSS、SSRF、AD 攻击、无线攻击、云安全、漏洞利用开发、模糊测试、免杀与红队行动等 23 个类别。每个技能通过对话触发按需加载，为 Claude 提供特定攻击面的专家级方法论、工具与升级路径，用于授权红队演练、漏洞赏金分诊、安全研究、CTF 准备与操作员培训。
展开详情收起详情：claude-red：为 Claude 注入红队进攻性安全方法论⌄
程序员程序员在进行授权安全测试或安全研究时，可将 claude-red 的 SKILL.md 技能文件加载到 Claude 中，获得针对 SQL 注入、XSS、SSRF、反序列化、请求走私、WAF 绕过等具体攻击面的专家级方法论、工具与升级路径，用于漏洞赏金分诊、CTF 准备和代码安全审查。
★ 4691 · 资料合集
原文发布：未知收录：2026-09-15