web-scraping

webfang：面向 RAG 数据集的高性能模块化网页爬虫

XaviCode1000/webfang · Modular web scraper with Clean Architecture — wreq TLS fingerprinting, RAG export, MCP server, TUI, AI semantic cleaning. 1,337 tests, Miri verified.

webfang 是一个用 Rust 编写的高性能模块化网页爬虫，采用 Clean Architecture 组织为 webfang_core、webfang_ai、webfang_mcp、webfang_cli 四个 crate。它提供基于 Readability 的内容提取、ONNX 语义清洗、多格式导出（Markdown/JSON/JSONL/向量）、Obsidian 保存、站点地图发现、资源下载、WAF 检测、限速与断点续爬等能力，并内置供 AI Agent 集成的 MCP 服务端。