webfang：面向 RAG 数据集的高性能模块化网页爬虫

核心能力与快速开始

★ 0 · Rust

能做什么

基于 Readability 的内容提取，剥离菜单、广告和侧栏；可选的 ONNX 语义清洗过滤无关内容；导出 Markdown、JSON、JSONL（面向 RAG）与向量格式；Obsidian 仓库直接保存（wiki 链接与元数据）；通过 robots.txt 与 sitemap.xml 自动发现站点页面；下载图片与文档（PDF、DOCX、XLSX）；检测 Cloudflare、reCAPTCHA、hCaptcha、DataDome 等 WAF；可配置限速并遵守 Retry-After；支持 --resume 断点续爬；使用 wreq 进行 TLS 指纹伪装；DOM 预剪枝；JSONL 追踪与 jq 查询脚本；批量模式（stdin 或文件）；Elastic 摄取管道；MCP 服务端提供 9 类共 36 个工具供 AI Agent 集成。

适用场景

为 RAG 管线采集并导出网页数据集；整站爬取与站点地图发现；把网页内容保存到 Obsidian 知识库；通过 MCP 服务端让 AI Agent 调用抓取、内容转换、导出与安全检测工具；对 WAF 拦截站点进行 TLS 指纹伪装的抓取；通过追踪文件与查询脚本调试爬取性能与错误。

项目形态

可直接使用的工具

部署方式

提供各平台二进制发行包（Linux x86_64/ARM64、macOS Apple Silicon、Windows x86_64），需校验 SHA256 后手动安装到 PATH；也可从源码构建。无 Intel macOS 产物。未说明托管或云部署方式。

主要依赖

源码构建需 Rust 1.88、C/C++ 编译器与 cmake（首次构建需编译 BoringSSL）；release 二进制内置 default、ai、mcp 特性，persistence、chromium、adaptive-selectors、console 等特性需从源码构建；AI 语义清洗依赖约 390 MB 的 ONNX 模型（报告约 372 MB 模型缓存）；未说明外部 API 成本。

使用限制

仅以二进制形式分发，未发布到 crates.io，cargo install webfang 不可用；无 Intel macOS 构建产物；CLI 不提供 --mcp 参数，MCP 服务端需通过 webfang_mcp crate 的示例启动；部分特性（persistence、chromium、adaptive-selectors、console）不包含在 release 二进制中；Miri 仅完整验证 Domain 与 Core 层，基础设施层因 servo_arc/btls FFI 限制仅部分验证；未说明代理、分布式抓取或并发上限等具体约束。

许可证

MIT

最近推送

2026-10-05 06:33

资料检查：2026-10-05 07:00 · 卡片整理：2026-10-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为面向 RAG 数据集的高性能模块化网页爬虫，可用于抓取网页并导出 Markdown/JSON/JSONL/向量等格式，供程序员构建 RAG 数据管道；同时内置 MCP 服务端，提供 36 个工具供 AI Agent 集成。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证