知识库与 RAG01
YOLOW92/pagesift · High-performance, memory-efficient Rust web crawler & content extraction engine for AI agents and RAG. Adaptive crawling, clean Markdown, structured data, PDF/RSS parsing, browser rendering, Firecrawl-compatible APIs, and Python/Node.js SDKs.
PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。
Agent 与自动化02
realchendahuang/opencode-hermes-memory · OpenCode 分层持久记忆插件（从 Hermes 移植，纯 Markdown 零向量库） / Layered persistent memory plugin for OpenCode
该项目是从 Hermes 移植到 OpenCode 的分层持久记忆插件，使用纯 Markdown 文件作为记忆来源，不依赖向量数据库或外部服务。它提供常驻指令注入、记忆检索与增删改、会话空闲时后台学习总结、纠错检测、bash 命令失败时相关历史教训预取，以及记忆替换后的历史归档等能力，使 OpenCode 智能体能跨会话保留用户偏好、项目约定和过往经验。
知识库与 RAG03
thomas-villani/all2md · Convert PDF, Word, PowerPoint, HTML, email & 40+ formats to clean Markdown — and back. Built for LLMs, RAG & Python pipelines, with a built-in MCP server.
all2md 是一个 Python 库与命令行工具，基于 AST 流水线将 PDF、Word、PowerPoint、HTML、邮件、表格、电子书、代码等 40 多种格式转换为结构化、LLM 友好的 Markdown，并支持将 Markdown 反向转换为 DOCX、PDF、HTML 等富文本格式。项目面向 RAG 数据摄入、LLM 预处理、批量自动化和 Python 应用嵌入，同时提供 rcat 终端文档阅读器，以及批量转换、grep、语义搜索、diff、分块等命令行能力，并内置 MCP 服务器。
数据处理04
AbdoslamB/InkDoc · Turn any document into clean, AI-ready Markdown — locally on your machine. Desktop app for Windows, macOS & Linux powered by MarkItDown, Docling, GLM-OCR and Markit.
InkDoc 是一个跨平台桌面应用与本地 REST API，统一集成 Microsoft MarkItDown、Docling、自研 Markit 引擎与 GLM-OCR 模型，将文件、目录或 URL 转换为干净、适配 AI 的 Markdown。转换主要在本地执行，支持自动保存到 ~/Downloads 并使用防冲突命名；界面基于 Edge WebView2（Windows）或 WebKit（macOS/Linux），可同时以本地 Web 工作台形式访问。
Agent 与自动化05
n0mad-ai/bastra-recall · Local-first memory for AI assistants. Keep preferences, decisions and lessons across sessions and connected tools in readable Markdown files.
Bastra Recall 是一个本地优先的 AI 助手记忆工具，把偏好、决策和经验教训存成可读的 Markdown 文件，供 Claude Code、Codex、Cursor 等 MCP 兼容客户端共享调用。它通过 MCP、Skill 和钩子在会话开始或操作前自动浮现相关记忆，避免重复交代上下文，同时允许用户用文本编辑器或 Obsidian 直接查看和修改记忆文件。
知识库与 RAG06
vlasenkoalexey/wikify-repo · Compile any codebase into a grounded, lint-clean markdown wiki your AI agent can actually trust — SCIP symbol resolution + citation linter, plain markdown you own (no graph DB, no SaaS).
wikify-repo 通过 SCIP 符号解析把代码库编译成基于真实符号引用的 Markdown Wiki，并用引用 linter 在构建时强制每条论断都能解析到已固定的源码符号；输出为可离线 grep 检索的纯 Markdown，无需图数据库、向量库或托管服务，支持增量重建和跨仓库概念页。
数据处理07
docling-project/docling · Get your documents ready for gen AI
Docling 是一个 Python 文档处理工具，可解析 PDF、DOCX、PPTX、XLSX、HTML、EPUB、图像、音频等多种格式，并提供高级 PDF 理解能力，包括页面布局、阅读顺序、表格结构、代码、公式与图像分类等。它使用统一的 DoclingDocument 表示，支持导出 Markdown、HTML、DocTags 和无损 JSON 等格式，可与 LangChain、LlamaIndex、Crew AI、Haystack 等生成式 AI 生态集成，并支持本地执行、OCR、视觉语言模型、ASR 和 MCP/API 服务。