知识库与 RAG01
miguelzzzzzzzz/CitationNeeded · Production-style RAG engine: configurable chunking, hybrid BM25 + vector retrieval, cross-encoder reranking, cited structured answers, FastAPI, and reproducible retrieval evals.
CitationNeeded 是一个面向生产风格的检索增强生成（RAG）服务，采用类型化、可替换的流水线阶段，支持 Markdown/HTML/PDF/文本加载、结构感知分块并保留精确字符偏移，稀疏 BM25 与向量检索混合并可用 cross-encoder 重排，输出带原文引用和 Pydantic 校验结构的答案。项目提供 FastAPI 只读索引服务及 Docker 配置，并附带基于 SciFact（BEIR）的可复现检索评测，报告 Recall@K、MRR、nDCG 等指标及逐阶段延迟。
Agent 与工作流02
有人在 BrowseComp-Plus 测试上做了个对比：把正确答案直接交给 GPT-4.1，它答对 93.49%；换成让同一个模型自己用 BM25 搜索找证据，答对率掉到 14.58%。这说明模型本身够聪明，但检索环节一旦拉胯，后面再强的推理也救不回来。文章还提醒，一个任务可能几分钟内发起成百上千次搜索，并且后续步骤依赖前面的结果，早期搜错会让整条链路跑偏。对做 Agent 的团队来说，先检查喂给模型的东西对不对，比急着换模型更划算。
文中可用工具
- GPT-4.1用来做问答测试的模型，直接给文档时准确率高，自己搜索时准确率骤降
- Qwen3-32B另一个参与同样对比测试的模型，自己搜索时准确率从 83.25% 掉到 3.49%
- BM25一种传统的文本检索方法，被用作 Agent 搜索证据的基线，效果明显不佳
- BrowseComp-Plus一个固定文档语料的评测基准，包含 100,195 篇文档和 830 个研究问题，用来区分模型能力和检索能力
评测与安全03
egnaro9/rag-eval-lab · RAG pipeline with no third-party dependencies and a deterministic eval harness that catches hallucinations (precision@k, recall@k, citation, faithfulness), proven in CI. Optional OpenAI + pgvector backends.
一个纯 Python 标准库实现的 RAG 参考项目，覆盖 ingest→chunk→embed→store→retrieve→answer 全流程，并配有确定性评测框架（precision@k、recall@k、citation、faithfulness）。其核心价值在于用闭式指标（非 LLM 评判）检测幻觉：预埋的幻觉样例会被 faithfulness 指标标记，并由 CI 持续验证。支持 bm25、hybrid、reranker 等可插拔检索策略，并在 SciFact 基准上给出实测对比；可选接入 OpenAI 嵌入/回答与 Postgres+pgvector 存储后端。