YOLOW92/pagesift · High-performance, memory-efficient Rust web crawler & content extraction engine for AI agents and RAG. Adaptive crawling, clean Markdown, structured data, PDF/RSS parsing, browser rendering, Firecrawl-compatible APIs, and Python/Node.js SDKs.
PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。
展开详情收起详情：PageSift：为 AI Agent 与 RAG 管线提供高吞吐、内存受限的网页抓取与内容提取引擎⌄
★ 100 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-27
miguelzzzzzzzz/CitationNeeded · Production-style RAG engine: configurable chunking, hybrid BM25 + vector retrieval, cross-encoder reranking, cited structured answers, FastAPI, and reproducible retrieval evals.
CitationNeeded 是一个面向生产风格的检索增强生成（RAG）服务，采用类型化、可替换的流水线阶段，支持 Markdown/HTML/PDF/文本加载、结构感知分块并保留精确字符偏移，稀疏 BM25 与向量检索混合并可用 cross-encoder 重排，输出带原文引用和 Pydantic 校验结构的答案。项目提供 FastAPI 只读索引服务及 Docker 配置，并附带基于 SciFact（BEIR）的可复现检索评测，报告 Recall@K、MRR、nDCG 等指标及逐阶段延迟。
展开详情收起详情：CitationNeeded：可引用来源的混合检索 RAG 引擎⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-27
wentzeld/docvault · Self-hosted document knowledge base for AI agents and humans — agents write PRDs, research, and design docs; humans review, comment, and approve. Fastify + PostgreSQL/pgvector + a Python embedding worker, with hybrid semantic + keyword search.
DocVault 是一个自托管的文档知识库，供 AI Agent 写入和检索 PRD、研究报告、架构与设计文档，并供人类审阅、评论和审批。项目采用 Fastify API、PostgreSQL + pgvector、Python 嵌入 worker（nomic-embed-text-v1.5）与 React UI，支持混合语义与关键词搜索、基于 token 的 Agent 接入与 webhook 通知，可通过 Docker 或 Ubuntu 安装脚本部署。
展开详情收起详情：DocVault：面向 AI Agent 与人类协作的自托管文档知识库⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-27