Web Research Stack：LLM 驱动带引用的网页抓取与研究工具

senoldogann/web-research-stack · A production-ready web scraping and AI-powered research tool with full-stack capabilities.

GitHub原文发布未知首次收录 2026-10-26上架 2026-10-28 07:05

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个生产就绪的全栈网页抓取与研究工具，后端采用 Python FastAPI，前端采用 React/Next.js，提供 CLI 与 REST API 两种接口。它包含本地网页研究工具（多角度搜索、抓取、站点地图、后台爬取与结构化抽取），并通过 stdio MCP 服务器暴露为 web_search、web_scrape 等工具；同时提供带引用的 LLM 研究能力，支持 SSE 实时进度、SQLite 历史与缓存、Docker 部署、Prometheus/Grafana 监控以及 SSRF 防护。

# MCP # 流式响应 # web-crawler # 数据提取 # LLM 编排

核心能力与快速开始

★ 12 · Python

能做什么: 提供 CLI 与 REST 双接口的网页抓取与站点研究能力：多角度搜索（含字段加权 BM25、缓存与提供商冷却）、页面抓取与结构化抽取、站点地图与后台爬取（可查询状态、结果与取消），并以 stdio MCP 服务器形式输出 web_search、web_scrape、web_map、web_extract、web_health、web_crawl_* 等工具。具备 LLM 驱动的研究与引用支持、SSE 实时进度、代码块保留，以及 SSRF 防护和浏览器请求地址校验等安全措施。
适用场景: 适合为 AI Agent 提供网页搜索与阅读工具（例如作为 Dot 的 MCP 服务器接入）；也适合作为独立服务做网页抓取、结构化信息提取和带引用的自动研究，并通过 REST API 或 CLI 集成到已有流程。
项目形态: 可直接使用的工具
部署方式: 可通过 pip 安装或以源码 `pip install -e .` 安装，`web-scraper serve` 启动 API 服务，也提供 Docker Compose 部署方式；MCP 服务器通过 `web-research-mcp` 以 stdio 运行。
主要依赖: 后端要求 Python 3.9+；可选安装 Playwright 或 Camoufox 作为无头浏览器回退，Camoufox 浏览器需首次执行 `python -m camoufox fetch` 下载（约 100 MB，磁盘约 2.3 GB）。搜索提供商可通过 BRAVE_SEARCH_API_KEY / SERPER_API_KEY 启用，相关 API 成本未说明。
使用限制: 材料称 Camoufox 回退仍会被部分站点（如 g2.com、etsy.com）拦截；Camoufox 无法被 Playwright 约束的包括重定向、共享 worker 请求、Web Worker 内 WebSocket，且不覆盖浏览器自身域名解析。通过站点机器人检测不等于获得该站点的使用许可，仍需遵守站点条款。
许可证: MIT
最近推送: 2026-10-26 02:15

官方入门核对 README 依据 ↗

资料检查：2026-10-26 07:00 · 卡片整理：2026-10-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

通过 stdio MCP 服务器将 web_search、web_scrape、web_map、web_extract 等工具接入编码代理，用于检索技术文档、抓取网页内容并抽取结构化数据，辅助技术调研与排错。

查看内容依据

It installs two commands: `web-research-mcp`, the MCP server over stdio (tools `web_search`, `web_scrape`, `web_map`, `web_extract`, `web_health`, `web_crawl_start`, `web_crawl_status`, `web_crawl_results`, `web_crawl_cancel`)

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

使用带引用的 LLM 网页研究能力进行多角度搜索与资料汇总，并通过 SSE 实时查看研究进度，用于用户研究与需求分析阶段的资料收集。

查看内容依据

**LLM Research Tool**: AI-powered web research with citations

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

AI Agent Data APIs：面向 AI Agent 的 Apify Actor 目录与 MCP 工具接入指南

这是一个目录型仓库，汇总 2,070 个 Apify actor 及 API，覆盖 MCP servers、LLM 工具、RAG 管道、实时网页数据、视觉与语音等类别，供 AI agent 以工具形式调用。README 提供 actor 分类总览、按任务场景的入口，以及 Agent+MCP 接入、RAG 管道等 playbook 链接。仓库本身是索引与使用指引；实际数据获取依赖 Apify 平台上的 actor，README 披露其中含作者联盟链接。

PageSift：为 AI Agent 与 RAG 管线提供高吞吐、内存受限的网页抓取与内容提取引擎

PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。

rfauto：RF/微波设计自动化与 LLM 编排框架

rfauto 将 RF/微波设计流程中描述器件、参数化建模、调用求解器、质量门禁判定和尺寸优化等环节整合为一条可复现的自动化闭环。项目提供 75 个参数化器件模板、340 个确定性计算器、87 个校准锚点，并通过统一的适配层接入 HFSS、ADS、openEMS、COMSOL 等 16 个 EM/EDA 引擎通道。核心约定是物理数值只能由确定性内核或求解器产生，LLM 仅负责编排与解释。AI 助手可通过 MCP（157 个工具、10 个资源）驱动整个框架；项目还提供本地审阅工作台、运行数据湖、远程执行和批量任务能力。

ClaimCheck：面向 LLM 工作流的本地优先 PII 假名化网关

ClaimCheck 是一个本地优先的隐私脱敏网关，用于在 LLM 工作流中把敏感标识符替换为稳定的占位符（如 [FEIN_1]、[SSN_2]），并通过保存在本机的可逆映射库在输出阶段还原真实值。它提供 MCP 服务器模式（供 Cline、Cursor、Claude Desktop、OpenClaw 等 MCP 客户端通过 read_sanitized、scan_file、sanitize_text 工具读取脱敏内容）和 OpenAI 兼容 LLM 反向代理模式（在请求链路上自动脱敏、在响应上还原，并支持 SSE 流式响应）。内置基于正则与校验器的确定性识别器，覆盖 FEIN、SSN、信用卡、IBAN、云密钥、JWT、PEM 私钥、密码字段等，并可选启用本地 NER 模型识别姓名、机构、地点，支持自定义脱敏规则。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。