AI 资源库 · 已整理 6 项
查看与evaluation相关的 AI 资讯、工具、Skill、工作流和开源项目。
anassoooo/fathom-search · Multimodal product search over 35K products: hybrid retrieval (dense + BM25 + CLIP), cross-encoder reranking, LLM query understanding, and offline evaluation. FastAPI + Qdrant + Next.js.
Fathom 是一个面向 3.5 万余件 Amazon 商品的多模态检索项目，支持用文字或图片搜索商品。它把稠密向量、BM25 与 CLIP 文本到图像检索在服务端用 RRF 融合，再经 MiniLM 交叉编码器重排，并用 LLM 把“适合扁平足、80 美元以内的舒适跑鞋”这类口语化请求解析成干净查询、硬性预算和类目加权。项目包含数据质量审计、离线检索与查询理解评测报告，技术栈为 FastAPI、Qdrant、Next.js。
vishalhabib99/vishalhabib99 · Vishal Habib: AI Product Manager. Agent evals, guardrails and MCP trust tooling, built in the open.
这是 Vishal Habib 的个人 GitHub 仓库，汇集其在开放环境下构建的智能体评测、护栏与 MCP 信任相关工具与案例。内容包括 MCP 服务器诊断（mcp-doctor）、模糊测试（mcp-fuzz）、现实性校验（mcp-reality-check）、信任检查（mcp-trust-check），以及面向 AI 产品经理的技能集合（ai-pm-skills）、智能体产品手册（agentic-product-playbook）和产品案例研究（ai-pm-portfolio）。同时包含金融科技场景下的答案核验（retirement-answer-check）、电商列表声明核验（listing-claim-check）、智能体交接检查（agent-handoff-check）等项目，以及公开的评测报告、红队测试结果和写作链接。
Yog-Sotho/LLM-Sanitizer-Pro · Production-grade, modular dataset sanitization, PII redaction, and curation pipeline for LLM training and fine-tuning.
LLM-Sanitizer-Pro 是一个模块化的数据集清洗与治理流水线，面向 LLM 训练和微调场景。它支持多种数据格式的流式读写（JSONL、JSON、CSV/TSV、TXT、Parquet、Excel 及 gzip 变体）以及直接从 Hugging Face Hub 读取数据集，提供基于正则验证的高级 PII 脱敏（邮箱、URL、电话、信用卡、IBAN、SSN、IP 地址等），并可选接入 NER 后端（spaCy、transformers 或 GLiNER2-PII）识别姓名、地点、机构等结构化 PII，支持令牌替换、部分掩码和稳定假名化三种模式。此外还包含密钥检测与脱敏、三档去重（SHA-256 精确去重、MinHash 模糊近重复、语义近重复）、质量评分与内容过滤、语言过滤、预训练规则过滤、基准测试去污染、ChatML/Instruct 格式转换与对话校验、数据集切分与分片、可恢复的断点续跑、多进程并行处理以及 HTML 审计报告生成等能力。
ictechgy/derailment · A harness for inducing and measuring psychopathology-like cognitive distortions in LLMs — emulation, not diagnosis.
Derailment 是一个分层测试工具（harness），用于在 LLM 聊天流水线中诱导并测量类似精神病理的认知扭曲。它通过操控临床概念对应的变量（注意力、显著性、效价、唤醒度），让同一标准探针脚本分别跑在经操控的流水线和健康基线上，输出 A/B 对照的评分报告。项目提供 18 个临床档案与 6 个对抗策略档案及健康基线，涵盖 ADHD、抑郁、精神分裂症、焦虑、双相、强迫症、PTSD、谵妄、痴呆样遗忘、解离性遗忘、反刍、快感缺失、分裂、渴求、疾病焦虑、惊恐、固着、被害观念等，配有 18 项基于转录文本的度量指标。支持离线伪 LLM、任意 OpenAI 兼容端点、本地 Ollama、订阅制 CLI 代理以及手动协议模式，另提供 LLM 作为评判者的评分、交互式聊天 REPL 和本地 Web GUI。项目明确声明这是模拟而非诊断。
Elastic 的 Susan Chang 讲述了他们公司如何把 AI 智能体（agent）的测试评估从零散、各自为政的做法，改造成一套统一、可用于生产环境的评估框架。原来的问题是：不同团队各测各的，方法随意，出了问题难以及时发现。她的解决思路包括：把“让大模型当裁判”和“写死规则判断”两种评估方式结合起来；把数据科学家常用的 Python 评估代码和生产环境用的 TypeScript 代码打通；再配合深度追踪，在复杂的 RAG（检索增强生成）和安全场景中抓出性能退步，同时不丢失业务上下文。对读者的用处是：如果你的团队也在做 AI 智能体产品，这套经验能帮你建立更靠谱、更可复用的评估流程。
提供的材料未提及具体可用工具。
ozynautetu-create/FlowForge-Optima · AdalFlow Alternative 2026: Auto-Optimize LLM Apps Without Code
PromptForge（仓库名 FlowForge-Optima）是面向将 LLM 应用当作产品运营的团队的提示词编排与持续优化层，专注于让提示词、链路与检索策略随时间自动变得可度量地更好。它提供自动提示词改写（变异、交叉、指令压缩）、内置评测与统计显著性校验、链路级联合优化（检索查询、重排阈值、工具选择提示词）、响应式控制台、多语言提示词方言与跨语言迁移评分、版本图与确定性重放、成本感知目标函数、可插拔模型适配器以及回归防火墙；支持人类审核后再晋升（promotion）。架构分为 Forge Core（优化器、评测器、版本图）、Forge Relay（模型/向量库/日志适配层）与 Forge Console（UI）。README 称 Forge Core 与 Forge Relay 可完全离线自托管，许可证为 MIT，但免责声明强调按“as-is”提供、结果随数据与模型供应商而异，需在预发环境验证。