工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
rendeirolab/wsidata · Efficient data structures and IO for whole slide image analysis
wsidata 是面向全切片图像（WSI）分析的 Python 库，专注提供高效的数据结构与读写（IO）能力，设计上与 LazySlide 配合使用，属于 scverse 生态，服务于数字病理和图像分析场景。
prpatel/big-data-ai · Big Data and AI demo project for experimentation and rapid prototyping
这是一个基于 Spring Boot 的实验性演示项目，结合 Apache Iceberg、Apache Spark 与 Spring AI，将用户的自然语言问题转换成 Spark SQL，并在 Iceberg 数据湖（以英国房产交易数据为例）上执行查询。项目包含 Hugging Face Spaces 的 Docker 单容器部署方式与本地 compose 多容器方式，并提供 Admin 页面用于下载 CSV 数据、加载到 Iceberg 表以及清理数据。项目明确标注不适用于生产环境，主要用于实验、快速原型与工作坊教学。
Yog-Sotho/LLM-Sanitizer-Pro · Production-grade, modular dataset sanitization, PII redaction, and curation pipeline for LLM training and fine-tuning.
LLM-Sanitizer-Pro 是一个模块化的数据集清洗与治理流水线，面向 LLM 训练和微调场景。它支持多种数据格式的流式读写（JSONL、JSON、CSV/TSV、TXT、Parquet、Excel 及 gzip 变体）以及直接从 Hugging Face Hub 读取数据集，提供基于正则验证的高级 PII 脱敏（邮箱、URL、电话、信用卡、IBAN、SSN、IP 地址等），并可选接入 NER 后端（spaCy、transformers 或 GLiNER2-PII）识别姓名、地点、机构等结构化 PII，支持令牌替换、部分掩码和稳定假名化三种模式。此外还包含密钥检测与脱敏、三档去重（SHA-256 精确去重、MinHash 模糊近重复、语义近重复）、质量评分与内容过滤、语言过滤、预训练规则过滤、基准测试去污染、ChatML/Instruct 格式转换与对话校验、数据集切分与分片、可恢复的断点续跑、多进程并行处理以及 HTML 审计报告生成等能力。
hankamarvanova/unified-db · 🌟 Accelerate SQLite database operations on Apple Silicon with GPU power for faster analytics and efficient data management.
unified-db 是一款面向 Apple Silicon（M1 及以后）macOS 的应用，利用统一内存架构直接执行 GPU 加速的 SQLite 查询，无需把数据拷贝到 GPU，从而提升查询速度。项目提供图形界面，支持连接 SQLite 数据库文件、输入并运行 SQL 语句、查看结果、导出结果以及监控查询性能。官方描述其目标为让非技术用户也能较简单地管理和分析数据。
reisel-g/doc2dataset · 📄 Ingest documents into structured datasets for LLMs, ensuring numeric integrity and easy export across multiple frameworks with doc2dataset.
doc2dataset 是一个帮助用户从文档生成数据集的工具，支持 PDF、DOCX、TXT 等格式，输出 CSV、JSON 等多种格式，便于与各类机器学习框架集成。据 README 介绍，其功能包括 Token 效率优化、多框架输出、借助 NumGuard 保障数值完整性，并提供面向非技术用户的图形界面。项目使用 Rust 编写，采用 Apache-2.0 许可证。
XaviCode1000/webfang · Modular web scraper with Clean Architecture — wreq TLS fingerprinting, RAG export, MCP server, TUI, AI semantic cleaning. 1,337 tests, Miri verified.
webfang 是一个用 Rust 编写的高性能模块化网页爬虫，采用 Clean Architecture 组织为 webfang_core、webfang_ai、webfang_mcp、webfang_cli 四个 crate。它提供基于 Readability 的内容提取、ONNX 语义清洗、多格式导出（Markdown/JSON/JSONL/向量）、Obsidian 保存、站点地图发现、资源下载、WAF 检测、限速与断点续爬等能力，并内置供 AI Agent 集成的 MCP 服务端。
rsm-sdeenadayalan/wildchat-analytics · Loupe: user analytics for GenAI assistants. 3.2M real conversations, a browser-side dashboard, and a full PM case study (PRD, metrics framework, trends report, retro).
Loupe 将原始对话日志转化为产品经理所需的用户洞察，回答谁在使用助手、使用强度、使用目的以及在哪里体验失败等问题。项目基于 WildChat-4.8M 的 320 万条真实人机对话构建与演示，提供数据处理流水线、浏览器端仪表盘以及完整的 PM 案例研究（含机会简报、指标框架、趋势报告与复盘），并附带可复现的标注、分类与指标聚合脚本。
KUNDURUHIMANEESHREDDY/dataos · Graph-based data operating system. Universal object model, first-class relationship graph, and first-class provenance - every derived result traceable to its real source. AI is an operator over the graph, never an authority. 12 pluggable computation engines.
DataOS 是一个基于 Python 的数据平台，围绕通用对象模型、一等关系图谱和一等溯源三个理念构建，让每个派生结果都可追溯回真实来源。项目包含 12 个可插拔计算引擎（图谱分析、SQL/Python 计算、混合检索、数据剖析、质量校验、统一查询、溯源解释、治理、差异对比、目录、动作、使用统计），并提供 CLI、REST 后端与 Next.js 前端。README 指出库层较完整（约 180 个 Python 文件、约 670 个测试、653 个正确性测试通过），但 FastAPI 后端仍调用已不存在的旧 API，约 22/35 个端点返回 500；Prisma schema 未被任何代码使用。设计原则是“AI 是图谱上的算子，而非图谱的权威”，通过能力门控与必须提供证据的 grounding gate 来约束 AI 行为。
docling-project/docling · Get your documents ready for gen AI
Docling 是一个 Python 文档处理工具，可解析 PDF、DOCX、PPTX、XLSX、HTML、EPUB、图像、音频等多种格式，并提供高级 PDF 理解能力，包括页面布局、阅读顺序、表格结构、代码、公式与图像分类等。它使用统一的 DoclingDocument 表示，支持导出 Markdown、HTML、DocTags 和无损 JSON 等格式，可与 LangChain、LlamaIndex、Crew AI、Haystack 等生成式 AI 生态集成，并支持本地执行、OCR、视觉语言模型、ASR 和 MCP/API 服务。
scenic-industrialarts74/Q-ReAlign · Evaluate image quality with lightweight, human-aligned multimodal vision-language models that run on minimal hardware.
Q-ReAlign 是一个在本地计算机上运行语言模型的工具，用于对信息打分、重组文本和管理数据集，无需复杂编程。它提供 0.8B、4B、9B 三种模型规格供用户按硬件选择，并包含数据集构建、文本评分和 CLI 工作流等功能。程序完全在本机运行，无需账号或联网即可使用主要功能，仅下载模型文件时需要一次网络连接。
microsoft/markitdown · Python tool for converting files and office documents to Markdown.
MarkItDown 是微软开源的轻量级 Python 工具，用于把 PDF、PowerPoint、Word、Excel、图片、音频、HTML、CSV/JSON/XML、ZIP、YouTube URL、EPub 等多种格式转换为 Markdown，并尽量保留标题、列表、表格、链接等文档结构，主要面向 LLM 与文本分析流水线。它提供命令行与 Python API，支持可选依赖、第三方插件、通过 LLM 生成图片描述，以及 Azure Document Intelligence 与 Azure Content Understanding 云端转换（后者按调用计费，并支持 YAML 结构化字段抽取）。