评测与安全综合合集
Awesome-LLM-Evaluation-Testing：LLM 评测与测试资源合集
ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!
ELI5：它是什么，解决什么问题
这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。
核心能力与快速开始
★ 0
- 能做什么
- 以 curated 列表形式汇总 LLM 评测与测试生态：收录 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并列出部分 SaaS 托管平台；对 SaaS 条目给出定价和免费额度信息，对开源条目按 Star 数排序并附 Star 徽章链接。内容涉及输出质量测量、幻觉检测、提示词回归、RAG 流程评测、安全红队测试和生产 Agent 监控等方向。
- 适用场景
- 适合在对比 LLM 评测工具、测试框架、RAG 评测指标或可观测性平台时进行资料检索；可用于为 AI 工程团队挑选自托管评测、CI/CD 集成或供应商中立的评测基础设施，也可作为了解该领域主要开源项目与 SaaS 产品的索引。
- 项目形态
- 资料合集
- 部署方式
- 未说明
- 主要依赖
- 未说明
- 使用限制
- 这是资料索引，不是可安装软件；定价、免费额度和市场数据来自 README，可能随时间变化；README 声称的最后更新时间为 2026 年 3 月；各被收录项目的许可证与部署条件需分别查看。
- 许可证
- MIT
- 最近推送
- 2026-10-18 09:32
资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
作为 LLM 应用开发者的选型清单，检索并比较开源评测器、RAG 评测库、提示词回归测试工具、Agent 评测框架和可观测性平台，用于在 CI/CD 中测试 LLM 输出、检测幻觉与提示词回归。
查看内容依据
40+ open-source LLM evaluators, RAG evaluation libraries, prompt testing tools, agent evaluation frameworks and LLM observability platforms
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。