← 返回列表
知识库与 RAG工具

PageSift：为 AI Agent 与 RAG 管线提供高吞吐、内存受限的网页抓取与内容提取引擎

YOLOW92/pagesift · High-performance, memory-efficient Rust web crawler & content extraction engine for AI agents and RAG. Adaptive crawling, clean Markdown, structured data, PDF/RSS parsing, browser rendering, Firecrawl-compatible APIs, and Python/Node.js SDKs.

GitHub原文发布 未知首次收录 2026-10-27上架 2026-10-27 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。
# Rust# MCP# markdown# web-crawler# 数据提取

核心能力与快速开始

★ 100 · Rust

能做什么
抓取单个页面或批量并发抓取，将网页、PDF、RSS/Atom、代码页面等转换为干净 Markdown 和结构化数据；支持自适应爬取范围、有界内存并发、字符集检测与修正、JSON-LD 与元数据保留、浏览器渲染 SPA、robots.txt 处理、代理与私有网段白名单，并具备错误分类与诚实状态报告。对外提供 Firecrawl v1/v2 兼容 API 和 Jina Reader 风格 /r/ 端点，支持流式 SSE 输出；同时提供 CLI、Python SDK、Node.js SDK 以及供本机多个 Agent 共享的 MCP 服务。
适用场景
适合为 AI Agent 和 RAG 管线批量采集公开网页并转成 LLM 易用 Markdown；把文档、PDF、RSS 和代码页面整理为结构化语料；作为 Firecrawl 或 Jina Reader 的本地替代接入现有应用；通过 MCP 为 Claude 等 Agent 提供带审计日志的共享抓取服务；在内存受限环境中执行高并发、大批量网页内容抽取。
项目形态
可直接使用的工具
部署方式
README 说明可自托管：支持 Docker 单容器运行（含无头浏览器渲染器），也支持 pip、npm、cargo 安装及本地 CLI 和 MCP HTTP 服务；配置可通过 --config、PAGESIFT_CONFIG 或平台默认配置文件发现。具体生产部署拓扑未说明。
主要依赖
材料提及 Docker 与本地安装依赖，并提到容器含无头浏览器渲染器；性能测试使用 80 vCPU、157 GiB 内存、96 GB NVMe SSD 的云主机和 192 vCPU 环境，但项目运行的最低硬件、操作系统版本和浏览器依赖未完整说明。
使用限制
材料说明动态渲染对 setTimeout 延迟注入不等待，部分基准（如 WCXB 内容抽取、动态渲染、DOM 自愈）未排名第一；WCXB 上以精度换取召回。README 未说明 API 调用成本、第三方服务费用或所有场景下的商用条件；许可证为 AGPL-3.0，另需商业许可，具体条款未在摘录中展开。
许可证
AGPL-3.0
最近推送
2026-10-26 20:38
官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-27 07:00 · 卡片整理：2026-10-27 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

将技术文档站点、GitHub 代码页、PDF 和 RSS 抓取并转换为干净的 Markdown 与结构化数据，供 AI Agent 或 LLM 管线使用；也可通过 MCP 服务让编码 Agent 获取网页内容。

查看内容依据
Turn any website, document, or archive into clean Markdown and structured data — one Rust binary, native SDKs, dual Firecrawl v1/v2 & Jina Reader APIs, at a fraction of the memory.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

抓取网页并提取为 Markdown 和结构化数据，用于用户研究资料或竞品页面内容的整理，供 RAG 管线使用。

查看内容依据
High-performance, memory-bounded web scraping and extraction engine built for AI agents and LLM pipelines.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

AI Agent Data APIs：面向 AI Agent 的 Apify Actor 目录与 MCP 工具接入指南

这是一个目录型仓库，汇总 2,070 个 Apify actor 及 API，覆盖 MCP servers、LLM 工具、RAG 管道、实时网页数据、视觉与语音等类别，供 AI agent 以工具形式调用。README 提供 actor 分类总览、按任务场景的入口，以及 Agent+MCP 接入、RAG 管道等 playbook 链接。仓库本身是索引与使用指引；实际数据获取依赖 Apify 平台上的 actor，README 披露其中含作者联盟链接。

Web Research Stack：LLM 驱动带引用的网页抓取与研究工具

该项目是一个生产就绪的全栈网页抓取与研究工具，后端采用 Python FastAPI，前端采用 React/Next.js，提供 CLI 与 REST API 两种接口。它包含本地网页研究工具（多角度搜索、抓取、站点地图、后台爬取与结构化抽取），并通过 stdio MCP 服务器暴露为 web_search、web_scrape 等工具；同时提供带引用的 LLM 研究能力，支持 SSE 实时进度、SQLite 历史与缓存、Docker 部署、Prometheus/Grafana 监控以及 SSRF 防护。

Bastra Recall：为 AI 助手提供跨会话持久记忆的本地 Markdown 记忆库

Bastra Recall 是一个本地优先的 AI 助手记忆工具，把偏好、决策和经验教训存成可读的 Markdown 文件，供 Claude Code、Codex、Cursor 等 MCP 兼容客户端共享调用。它通过 MCP、Skill 和钩子在会话开始或操作前自动浮现相关记忆，避免重复交代上下文，同时允许用户用文本编辑器或 Obsidian 直接查看和修改记忆文件。

Flashmind：Rust 编写的 AI Agent 开发框架

Flashmind 是一个用 Rust 构建 AI Agent 应用的框架，提供流式 LLM 供应商接入、70+ 内置工具、向量记忆、多智能体编排与 MCP 支持。它通过统一的异步 API 暴露能力，内置 Ollama、OpenRouter、Anthropic、OpenAI（兼容 vLLM/LiteLLM）四类供应商，并支持自定义工具、自定义供应商、混合检索记忆与上下文自动压缩；同时提供 Jev CLI 与 OpenRouter CLI 等命令行入口。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。