AI 资源库 · 已整理 3 项
查看与web-crawler相关的 AI 资讯、工具、Skill、工作流和开源项目。
cporter202/ai-agent-data-apis · A mega collection of 2,070 AI agent data APIs: MCP servers, LLM tools, RAG pipelines, live web data, vision & voice. Give your AI agent live web data.
这是一个目录型仓库，汇总 2,070 个 Apify actor 及 API，覆盖 MCP servers、LLM 工具、RAG 管道、实时网页数据、视觉与语音等类别，供 AI agent 以工具形式调用。README 提供 actor 分类总览、按任务场景的入口，以及 Agent+MCP 接入、RAG 管道等 playbook 链接。仓库本身是索引与使用指引；实际数据获取依赖 Apify 平台上的 actor，README 披露其中含作者联盟链接。
YOLOW92/pagesift · High-performance, memory-efficient Rust web crawler & content extraction engine for AI agents and RAG. Adaptive crawling, clean Markdown, structured data, PDF/RSS parsing, browser rendering, Firecrawl-compatible APIs, and Python/Node.js SDKs.
PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。
senoldogann/web-research-stack · A production-ready web scraping and AI-powered research tool with full-stack capabilities.
该项目是一个生产就绪的全栈网页抓取与研究工具，后端采用 Python FastAPI，前端采用 React/Next.js，提供 CLI 与 REST API 两种接口。它包含本地网页研究工具（多角度搜索、抓取、站点地图、后台爬取与结构化抽取），并通过 stdio MCP 服务器暴露为 web_search、web_scrape 等工具；同时提供带引用的 LLM 研究能力，支持 SSE 实时进度、SQLite 历史与缓存、Docker 部署、Prometheus/Grafana 监控以及 SSRF 防护。