跨栏目检索
搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。
rendeirolab/wsidata · Efficient data structures and IO for whole slide image analysis
wsidata 是面向全切片图像（WSI）分析的 Python 库，专注提供高效的数据结构与读写（IO）能力，设计上与 LazySlide 配合使用，属于 scverse 生态，服务于数字病理和图像分析场景。
prpatel/big-data-ai · Big Data and AI demo project for experimentation and rapid prototyping
这是一个基于 Spring Boot 的实验性演示项目，结合 Apache Iceberg、Apache Spark 与 Spring AI，将用户的自然语言问题转换成 Spark SQL，并在 Iceberg 数据湖（以英国房产交易数据为例）上执行查询。项目包含 Hugging Face Spaces 的 Docker 单容器部署方式与本地 compose 多容器方式，并提供 Admin 页面用于下载 CSV 数据、加载到 Iceberg 表以及清理数据。项目明确标注不适用于生产环境，主要用于实验、快速原型与工作坊教学。
Gnanaram23/Gnanaram23 · Personal GitHub profile README showcasing interests in AI product management, analytics, and Life Sciences solutions
这是一个个人 GitHub 主页 README，作者是医药与生物技术商业战略及市场准入领域的解决方案顾问。主页展示了四组基于美国公开医疗数据（CMS Medicare、Medicaid、FDA、ClinicalTrials.gov）的商业分析案例，并包含 Python 分析与机器学习扩展；同时列出四个生命科学产品概念，其中 Cortex 涉及语义层与自然语言转 SQL 的受治理 AI 分析，Pharma Action Builder 涉及浏览器内训练模型以选择 HCP 最佳互动策略。该仓库本身是个人资料展示，并非可独立安装的软件项目。
ashwinsreedhar28/serverless-lakehouse · Medallion lakehouse (bronze → silver → gold) over my own Runpod Serverless LLM benchmark data: cold starts, FlashBoot, worker-vllm boot anatomy, cost per job. Local PySpark + Delta Lake, redacted landing zone, idempotent ingest, four external audits.
该项目以作者自有的 Runpod Serverless LLM 基准数据为来源，用本地 PySpark 与 Delta Lake 搭建 bronze→silver→gold 的 medallion 湖仓：先着陆并脱敏原始文件，再逐层构建可重建的 Delta 表，最终生成按 GPU 与镜像统计的冷启动分布、FlashBoot 命中率、单任务成本以及 emberserve 与 worker-vllm 的对比等 gold 聚合结果，并通过静态 HTML 页和 Streamlit 应用查看。另附 dbt/Snowflake 后端与审计脚本，材料未说明 GPU、API 成本等部署条件。
tjromack/open311-pipeline · Streaming civic-data pipeline: Chicago 311 → Kafka → Claude urgency classification (Langfuse-traced) → DuckDB or Snowflake via idempotent MERGE → dbt SLA marts. Runs with no accounts: make demo-local.
该项目是一个可复用的「流 → 分类 → 数据仓库 → 建模」市民数据流水线模板：轮询 Open311（芝加哥 311）请求，写入按 service_request_id 分键的 Kafka，用 Claude Haiku 4.5 对请求做结构化输出的紧迫度分级（每次调用在 Langfuse 中留有 trace），失败进入死信队列，再通过幂等 MERGE 写入 DuckDB（默认）或 Snowflake，最后由 dbt 构建部门 SLA 合规度数据模型。项目提供无需账号、无需 API key 的本地演示（make demo-local / make demo-local-nokafka），演示回放 300 条真实芝加哥 311 请求及其由 Claude Haiku 4.5 标注的标签；另有一条路径可从城市数据门户加载整个财年（约 212 万行）并测量整体队列的 SLA 合规度。仓库含 61 个 pytest 测试与 45 个 dbt 数据测试，覆盖 schema 漂移、DLQ、MERGE 幂等性等失效模式。README 明确指出其 SLA 阈值为项目自设而非芝加哥官方标准。
Yog-Sotho/LLM-Sanitizer-Pro · Production-grade, modular dataset sanitization, PII redaction, and curation pipeline for LLM training and fine-tuning.
LLM-Sanitizer-Pro 是一个模块化的数据集清洗与治理流水线，面向 LLM 训练和微调场景。它支持多种数据格式的流式读写（JSONL、JSON、CSV/TSV、TXT、Parquet、Excel 及 gzip 变体）以及直接从 Hugging Face Hub 读取数据集，提供基于正则验证的高级 PII 脱敏（邮箱、URL、电话、信用卡、IBAN、SSN、IP 地址等），并可选接入 NER 后端（spaCy、transformers 或 GLiNER2-PII）识别姓名、地点、机构等结构化 PII，支持令牌替换、部分掩码和稳定假名化三种模式。此外还包含密钥检测与脱敏、三档去重（SHA-256 精确去重、MinHash 模糊近重复、语义近重复）、质量评分与内容过滤、语言过滤、预训练规则过滤、基准测试去污染、ChatML/Instruct 格式转换与对话校验、数据集切分与分片、可恢复的断点续跑、多进程并行处理以及 HTML 审计报告生成等能力。
ho72/pet-i-explanation-data · 진단명·증상과 검색 근거로 설명형 SFT 데이터를 만드는 Python 파이프라인 | dry-run · 오류 분리 · 테스트/CI
该项目是一个 Python 数据生成流水线，用于为 PET-I 宠物犬眼病 VLM 诊断服务准备解释型训练数据。它读取 CSV 或 JSON 中给定的诊断名与症状，收集疾病相关的本地文档以及可选的 DuckDuckGo、Wikipedia 网络检索结果，并交给教师 LLM（GPT-4o）生成四个方面的说明文本，输出带有 service 说明文和 sft 对话记录的训练数据。项目本身不分析图像或判断疾病，image_path 仅用于生成输入标识。
AbdoslamB/InkDoc · Turn any document into clean, AI-ready Markdown — locally on your machine. Desktop app for Windows, macOS & Linux powered by MarkItDown, Docling, GLM-OCR and Markit.
InkDoc 是一个跨平台桌面应用与本地 REST API，统一集成 Microsoft MarkItDown、Docling、自研 Markit 引擎与 GLM-OCR 模型，将文件、目录或 URL 转换为干净、适配 AI 的 Markdown。转换主要在本地执行，支持自动保存到 ~/Downloads 并使用防冲突命名；界面基于 Edge WebView2（Windows）或 WebKit（macOS/Linux），可同时以本地 Web 工作台形式访问。
hankamarvanova/unified-db · 🌟 Accelerate SQLite database operations on Apple Silicon with GPU power for faster analytics and efficient data management.
unified-db 是一款面向 Apple Silicon（M1 及以后）macOS 的应用，利用统一内存架构直接执行 GPU 加速的 SQLite 查询，无需把数据拷贝到 GPU，从而提升查询速度。项目提供图形界面，支持连接 SQLite 数据库文件、输入并运行 SQL 语句、查看结果、导出结果以及监控查询性能。官方描述其目标为让非技术用户也能较简单地管理和分析数据。
reisel-g/doc2dataset · 📄 Ingest documents into structured datasets for LLMs, ensuring numeric integrity and easy export across multiple frameworks with doc2dataset.
doc2dataset 是一个帮助用户从文档生成数据集的工具，支持 PDF、DOCX、TXT 等格式，输出 CSV、JSON 等多种格式，便于与各类机器学习框架集成。据 README 介绍，其功能包括 Token 效率优化、多框架输出、借助 NumGuard 保障数值完整性，并提供面向非技术用户的图形界面。项目使用 Rust 编写，采用 Apache-2.0 许可证。
joconne8/sprinthack-nd-2026 · SprintHack@ND 2026 - problem PRDs and agentic build plan
该仓库是 SprintHack@ND 2026 黑客松的项目资料集合，围绕 Goodwill Michiana 电商报表分析场景，包含本地范围说明、指标字典、v1 契约、开发快速入门（可运行的 Python/SQLite CLI/API）、合成企业数据包、演示数据与验证证据、展示幻灯片与讲解视频，以及面向编码智能体并行开发的周末执行计划。材料还包含获取、数据流水线、仪表盘、AI、QA/演示与生产路线图的子任务 PRD，以及归档的其他 PRD 和会议笔记。仓库以 HTML 为主，未见具体开源许可证说明。
zapanss/End-to-End-ELT-Data-Pipeline-with-Databricks-Delta-Lake-DLT-dbt-Ready-Gold-Models · 🚀 Build a production-ready ELT data pipeline on Databricks, leveraging Delta Lake and DLT for efficient data ingestion, transformation, and modeling.
该项目提供了一个基于 Databricks 的生产级 ELT 数据管道实现，涵盖 Auto Loader 数据接入、Delta Live Tables (DLT) 转换、基于 CDC 的 Silver 层建模以及动态 Gold 层维度与事实表构建。支持的 dbt 集成用于数据转换和灵活建模，涉及 Bronze-Silver-Gold、SCD 等数据工程常见模式。仓库以 Jupyter Notebook 为主要载体，附带系统要求说明与相关资料链接。
XaviCode1000/webfang · Modular web scraper with Clean Architecture — wreq TLS fingerprinting, RAG export, MCP server, TUI, AI semantic cleaning. 1,337 tests, Miri verified.
webfang 是一个用 Rust 编写的高性能模块化网页爬虫，采用 Clean Architecture 组织为 webfang_core、webfang_ai、webfang_mcp、webfang_cli 四个 crate。它提供基于 Readability 的内容提取、ONNX 语义清洗、多格式导出（Markdown/JSON/JSONL/向量）、Obsidian 保存、站点地图发现、资源下载、WAF 检测、限速与断点续爬等能力，并内置供 AI Agent 集成的 MCP 服务端。
rsm-sdeenadayalan/wildchat-analytics · Loupe: user analytics for GenAI assistants. 3.2M real conversations, a browser-side dashboard, and a full PM case study (PRD, metrics framework, trends report, retro).
Loupe 将原始对话日志转化为产品经理所需的用户洞察，回答谁在使用助手、使用强度、使用目的以及在哪里体验失败等问题。项目基于 WildChat-4.8M 的 320 万条真实人机对话构建与演示，提供数据处理流水线、浏览器端仪表盘以及完整的 PM 案例研究（含机会简报、指标框架、趋势报告与复盘），并附带可复现的标注、分类与指标聚合脚本。
KUNDURUHIMANEESHREDDY/dataos · Graph-based data operating system. Universal object model, first-class relationship graph, and first-class provenance - every derived result traceable to its real source. AI is an operator over the graph, never an authority. 12 pluggable computation engines.
DataOS 是一个基于 Python 的数据平台，围绕通用对象模型、一等关系图谱和一等溯源三个理念构建，让每个派生结果都可追溯回真实来源。项目包含 12 个可插拔计算引擎（图谱分析、SQL/Python 计算、混合检索、数据剖析、质量校验、统一查询、溯源解释、治理、差异对比、目录、动作、使用统计），并提供 CLI、REST 后端与 Next.js 前端。README 指出库层较完整（约 180 个 Python 文件、约 670 个测试、653 个正确性测试通过），但 FastAPI 后端仍调用已不存在的旧 API，约 22/35 个端点返回 500；Prisma schema 未被任何代码使用。设计原则是“AI 是图谱上的算子，而非图谱的权威”，通过能力门控与必须提供证据的 grounding gate 来约束 AI 行为。
datafusion-contrib/datafusion-distributed · Library for bringing distributed capabilities to Apache DataFusion
DataFusion Distributed 是一个 Rust 库，为 Apache DataFusion 扩展分布式查询执行能力。它并非开箱即用的分布式引擎，而是用于构建分布式引擎的工具包，分布式计划仍是一个普通的 DataFusion 物理计划，只是增加了一些在机器之间传输 Arrow 数据的节点，因此可以以较小改动把已有的单机 DataFusion 系统升级为分布式执行。项目对网络栈不做限定，不区分 coordinator 与 worker，任意节点都可充当协调者或工作节点，并为常见的基于文件的数据源提供默认配置。
jeremylongshore/plugins-nixtla · Nixtla time series forecasting plugins for Claude Code. StatsForecast, MLForecast, and NeuralForecast integrations with agent skills.
该项目为 Claude Code 提供时间序列预测插件和 AI 技能，集成 Nixtla 的 statsforecast、mlforecast、neuralforecast 与 TimeGPT。仓库包含 19 个插件与 30 个技能，其中 nixtla-baseline-lab 可离线运行 statsforecast 基线实验（M4 数据），另有 BigQuery 预测和搜索结果推送 Slack 的插件。附带技能安装 CLI（nixtla-skills）和 ERCOT 电网负荷预测原型。
docling-project/docling · Get your documents ready for gen AI
Docling 是一个 Python 文档处理工具，可解析 PDF、DOCX、PPTX、XLSX、HTML、EPUB、图像、音频等多种格式，并提供高级 PDF 理解能力，包括页面布局、阅读顺序、表格结构、代码、公式与图像分类等。它使用统一的 DoclingDocument 表示，支持导出 Markdown、HTML、DocTags 和无损 JSON 等格式，可与 LangChain、LlamaIndex、Crew AI、Haystack 等生成式 AI 生态集成，并支持本地执行、OCR、视觉语言模型、ASR 和 MCP/API 服务。
r3dz4r/datapulse-my · Open-source trust & interoperability layer for Malaysian public data: freshness monitoring, schema validation, and health reports for official datasets.
DataPulse 是面向马来西亚公共数据的开源只读验证层，持续探测官方数据集的可达性、时效性、许可证与 schema 变化，并输出可机读的健康状态与证据。它提供 418 个官方数据集目录（含 30 个 GTFS 公交数据源）和只读 MCP 服务器，方便 AI 智能体在引用数据前核查新鲜度、许可证与来源。观察结果通过 Ed25519 签名、Git 源记录与公开透明日志提供可验证的存证。
scenic-industrialarts74/Q-ReAlign · Evaluate image quality with lightweight, human-aligned multimodal vision-language models that run on minimal hardware.
Q-ReAlign 是一个在本地计算机上运行语言模型的工具，用于对信息打分、重组文本和管理数据集，无需复杂编程。它提供 0.8B、4B、9B 三种模型规格供用户按硬件选择，并包含数据集构建、文本评分和 CLI 工作流等功能。程序完全在本机运行，无需账号或联网即可使用主要功能，仅下载模型文件时需要一次网络连接。