工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
rendeirolab/wsidata · Efficient data structures and IO for whole slide image analysis
wsidata 是面向全切片图像（WSI）分析的 Python 库，专注提供高效的数据结构与读写（IO）能力，设计上与 LazySlide 配合使用，属于 scverse 生态，服务于数字病理和图像分析场景。
prpatel/big-data-ai · Big Data and AI demo project for experimentation and rapid prototyping
这是一个基于 Spring Boot 的实验性演示项目，结合 Apache Iceberg、Apache Spark 与 Spring AI，将用户的自然语言问题转换成 Spark SQL，并在 Iceberg 数据湖（以英国房产交易数据为例）上执行查询。项目包含 Hugging Face Spaces 的 Docker 单容器部署方式与本地 compose 多容器方式，并提供 Admin 页面用于下载 CSV 数据、加载到 Iceberg 表以及清理数据。项目明确标注不适用于生产环境，主要用于实验、快速原型与工作坊教学。
tjromack/open311-pipeline · Streaming civic-data pipeline: Chicago 311 → Kafka → Claude urgency classification (Langfuse-traced) → DuckDB or Snowflake via idempotent MERGE → dbt SLA marts. Runs with no accounts: make demo-local.
该项目是一个可复用的「流 → 分类 → 数据仓库 → 建模」市民数据流水线模板：轮询 Open311（芝加哥 311）请求，写入按 service_request_id 分键的 Kafka，用 Claude Haiku 4.5 对请求做结构化输出的紧迫度分级（每次调用在 Langfuse 中留有 trace），失败进入死信队列，再通过幂等 MERGE 写入 DuckDB（默认）或 Snowflake，最后由 dbt 构建部门 SLA 合规度数据模型。项目提供无需账号、无需 API key 的本地演示（make demo-local / make demo-local-nokafka），演示回放 300 条真实芝加哥 311 请求及其由 Claude Haiku 4.5 标注的标签；另有一条路径可从城市数据门户加载整个财年（约 212 万行）并测量整体队列的 SLA 合规度。仓库含 61 个 pytest 测试与 45 个 dbt 数据测试，覆盖 schema 漂移、DLQ、MERGE 幂等性等失效模式。README 明确指出其 SLA 阈值为项目自设而非芝加哥官方标准。
Yog-Sotho/LLM-Sanitizer-Pro · Production-grade, modular dataset sanitization, PII redaction, and curation pipeline for LLM training and fine-tuning.
LLM-Sanitizer-Pro 是一个模块化的数据集清洗与治理流水线，面向 LLM 训练和微调场景。它支持多种数据格式的流式读写（JSONL、JSON、CSV/TSV、TXT、Parquet、Excel 及 gzip 变体）以及直接从 Hugging Face Hub 读取数据集，提供基于正则验证的高级 PII 脱敏（邮箱、URL、电话、信用卡、IBAN、SSN、IP 地址等），并可选接入 NER 后端（spaCy、transformers 或 GLiNER2-PII）识别姓名、地点、机构等结构化 PII，支持令牌替换、部分掩码和稳定假名化三种模式。此外还包含密钥检测与脱敏、三档去重（SHA-256 精确去重、MinHash 模糊近重复、语义近重复）、质量评分与内容过滤、语言过滤、预训练规则过滤、基准测试去污染、ChatML/Instruct 格式转换与对话校验、数据集切分与分片、可恢复的断点续跑、多进程并行处理以及 HTML 审计报告生成等能力。
ho72/pet-i-explanation-data · 진단명·증상과 검색 근거로 설명형 SFT 데이터를 만드는 Python 파이프라인 | dry-run · 오류 분리 · 테스트/CI
该项目是一个 Python 数据生成流水线，用于为 PET-I 宠物犬眼病 VLM 诊断服务准备解释型训练数据。它读取 CSV 或 JSON 中给定的诊断名与症状，收集疾病相关的本地文档以及可选的 DuckDuckGo、Wikipedia 网络检索结果，并交给教师 LLM（GPT-4o）生成四个方面的说明文本，输出带有 service 说明文和 sft 对话记录的训练数据。项目本身不分析图像或判断疾病，image_path 仅用于生成输入标识。
hankamarvanova/unified-db · 🌟 Accelerate SQLite database operations on Apple Silicon with GPU power for faster analytics and efficient data management.
unified-db 是一款面向 Apple Silicon（M1 及以后）macOS 的应用，利用统一内存架构直接执行 GPU 加速的 SQLite 查询，无需把数据拷贝到 GPU，从而提升查询速度。项目提供图形界面，支持连接 SQLite 数据库文件、输入并运行 SQL 语句、查看结果、导出结果以及监控查询性能。官方描述其目标为让非技术用户也能较简单地管理和分析数据。
reisel-g/doc2dataset · 📄 Ingest documents into structured datasets for LLMs, ensuring numeric integrity and easy export across multiple frameworks with doc2dataset.
doc2dataset 是一个帮助用户从文档生成数据集的工具，支持 PDF、DOCX、TXT 等格式，输出 CSV、JSON 等多种格式，便于与各类机器学习框架集成。据 README 介绍，其功能包括 Token 效率优化、多框架输出、借助 NumGuard 保障数值完整性，并提供面向非技术用户的图形界面。项目使用 Rust 编写，采用 Apache-2.0 许可证。
joconne8/sprinthack-nd-2026 · SprintHack@ND 2026 - problem PRDs and agentic build plan
该仓库是 SprintHack@ND 2026 黑客松的项目资料集合，围绕 Goodwill Michiana 电商报表分析场景，包含本地范围说明、指标字典、v1 契约、开发快速入门（可运行的 Python/SQLite CLI/API）、合成企业数据包、演示数据与验证证据、展示幻灯片与讲解视频，以及面向编码智能体并行开发的周末执行计划。材料还包含获取、数据流水线、仪表盘、AI、QA/演示与生产路线图的子任务 PRD，以及归档的其他 PRD 和会议笔记。仓库以 HTML 为主，未见具体开源许可证说明。
zapanss/End-to-End-ELT-Data-Pipeline-with-Databricks-Delta-Lake-DLT-dbt-Ready-Gold-Models · 🚀 Build a production-ready ELT data pipeline on Databricks, leveraging Delta Lake and DLT for efficient data ingestion, transformation, and modeling.
该项目提供了一个基于 Databricks 的生产级 ELT 数据管道实现，涵盖 Auto Loader 数据接入、Delta Live Tables (DLT) 转换、基于 CDC 的 Silver 层建模以及动态 Gold 层维度与事实表构建。支持的 dbt 集成用于数据转换和灵活建模，涉及 Bronze-Silver-Gold、SCD 等数据工程常见模式。仓库以 Jupyter Notebook 为主要载体，附带系统要求说明与相关资料链接。
XaviCode1000/webfang · Modular web scraper with Clean Architecture — wreq TLS fingerprinting, RAG export, MCP server, TUI, AI semantic cleaning. 1,337 tests, Miri verified.
webfang 是一个用 Rust 编写的高性能模块化网页爬虫，采用 Clean Architecture 组织为 webfang_core、webfang_ai、webfang_mcp、webfang_cli 四个 crate。它提供基于 Readability 的内容提取、ONNX 语义清洗、多格式导出（Markdown/JSON/JSONL/向量）、Obsidian 保存、站点地图发现、资源下载、WAF 检测、限速与断点续爬等能力，并内置供 AI Agent 集成的 MCP 服务端。
rsm-sdeenadayalan/wildchat-analytics · Loupe: user analytics for GenAI assistants. 3.2M real conversations, a browser-side dashboard, and a full PM case study (PRD, metrics framework, trends report, retro).
Loupe 将原始对话日志转化为产品经理所需的用户洞察，回答谁在使用助手、使用强度、使用目的以及在哪里体验失败等问题。项目基于 WildChat-4.8M 的 320 万条真实人机对话构建与演示，提供数据处理流水线、浏览器端仪表盘以及完整的 PM 案例研究（含机会简报、指标框架、趋势报告与复盘），并附带可复现的标注、分类与指标聚合脚本。
KUNDURUHIMANEESHREDDY/dataos · Graph-based data operating system. Universal object model, first-class relationship graph, and first-class provenance - every derived result traceable to its real source. AI is an operator over the graph, never an authority. 12 pluggable computation engines.
DataOS 是一个基于 Python 的数据平台，围绕通用对象模型、一等关系图谱和一等溯源三个理念构建，让每个派生结果都可追溯回真实来源。项目包含 12 个可插拔计算引擎（图谱分析、SQL/Python 计算、混合检索、数据剖析、质量校验、统一查询、溯源解释、治理、差异对比、目录、动作、使用统计），并提供 CLI、REST 后端与 Next.js 前端。README 指出库层较完整（约 180 个 Python 文件、约 670 个测试、653 个正确性测试通过），但 FastAPI 后端仍调用已不存在的旧 API，约 22/35 个端点返回 500；Prisma schema 未被任何代码使用。设计原则是“AI 是图谱上的算子，而非图谱的权威”，通过能力门控与必须提供证据的 grounding gate 来约束 AI 行为。
jeremylongshore/plugins-nixtla · Nixtla time series forecasting plugins for Claude Code. StatsForecast, MLForecast, and NeuralForecast integrations with agent skills.
该项目为 Claude Code 提供时间序列预测插件和 AI 技能，集成 Nixtla 的 statsforecast、mlforecast、neuralforecast 与 TimeGPT。仓库包含 19 个插件与 30 个技能，其中 nixtla-baseline-lab 可离线运行 statsforecast 基线实验（M4 数据），另有 BigQuery 预测和搜索结果推送 Slack 的插件。附带技能安装 CLI（nixtla-skills）和 ERCOT 电网负荷预测原型。
docling-project/docling · Get your documents ready for gen AI
Docling 是一个 Python 文档处理工具，可解析 PDF、DOCX、PPTX、XLSX、HTML、EPUB、图像、音频等多种格式，并提供高级 PDF 理解能力，包括页面布局、阅读顺序、表格结构、代码、公式与图像分类等。它使用统一的 DoclingDocument 表示，支持导出 Markdown、HTML、DocTags 和无损 JSON 等格式，可与 LangChain、LlamaIndex、Crew AI、Haystack 等生成式 AI 生态集成，并支持本地执行、OCR、视觉语言模型、ASR 和 MCP/API 服务。
scenic-industrialarts74/Q-ReAlign · Evaluate image quality with lightweight, human-aligned multimodal vision-language models that run on minimal hardware.
Q-ReAlign 是一个在本地计算机上运行语言模型的工具，用于对信息打分、重组文本和管理数据集，无需复杂编程。它提供 0.8B、4B、9B 三种模型规格供用户按硬件选择，并包含数据集构建、文本评分和 CLI 工作流等功能。程序完全在本机运行，无需账号或联网即可使用主要功能，仅下载模型文件时需要一次网络连接。
microsoft/markitdown · Python tool for converting files and office documents to Markdown.
MarkItDown 是微软开源的轻量级 Python 工具，用于把 PDF、PowerPoint、Word、Excel、图片、音频、HTML、CSV/JSON/XML、ZIP、YouTube URL、EPub 等多种格式转换为 Markdown，并尽量保留标题、列表、表格、链接等文档结构，主要面向 LLM 与文本分析流水线。它提供命令行与 Python API，支持可选依赖、第三方插件、通过 LLM 生成图片描述，以及 Azure Document Intelligence 与 Azure Content Understanding 云端转换（后者按调用计费，并支持 YAML 结构化字段抽取）。