AI 资源库 · 已整理 7 项
查看与数据处理相关的 AI 资讯、工具、Skill、工作流和开源项目。
datafusion-contrib/datafusion-distributed · Library for bringing distributed capabilities to Apache DataFusion
DataFusion Distributed 是一个 Rust 库，为 Apache DataFusion 扩展分布式查询执行能力。它并非开箱即用的分布式引擎，而是用于构建分布式引擎的工具包，分布式计划仍是一个普通的 DataFusion 物理计划，只是增加了一些在机器之间传输 Arrow 数据的节点，因此可以以较小改动把已有的单机 DataFusion 系统升级为分布式执行。项目对网络栈不做限定，不区分 coordinator 与 worker，任意节点都可充当协调者或工作节点，并为常见的基于文件的数据源提供默认配置。
scenic-industrialarts74/Q-ReAlign · Evaluate image quality with lightweight, human-aligned multimodal vision-language models that run on minimal hardware.
Q-ReAlign 是一个在本地计算机上运行语言模型的工具，用于对信息打分、重组文本和管理数据集，无需复杂编程。它提供 0.8B、4B、9B 三种模型规格供用户按硬件选择，并包含数据集构建、文本评分和 CLI 工作流等功能。程序完全在本机运行，无需账号或联网即可使用主要功能，仅下载模型文件时需要一次网络连接。
Datadog Observability Pipelines 发布 Microsoft Sentinel Packs，可将 Palo Alto、Fortinet、Cisco ASA、Cisco Meraki、ExtraHop 等来源的安全日志预先映射为 Sentinel 表结构（如 CommonSecurityLog、Syslog），并在管道中过滤噪声、控制按 GB 计费的摄取成本，同时保留完整原始日志。
getaero-io/gtm-eng-skills · 10 AI agent skills for Claude Code — waterfall email enrichment, TAM building, signal discovery, job change detection, and outbound automation. Powered by Deepline CLI with 28+ GTM data providers.
该项目为 Claude Code 等支持 SKILL.md 格式的 AI 编程代理提供 10 个 GTM（Go-To-Market）工程技能，覆盖瀑布式邮箱补全、TAM 名单构建、第一方信号发现、LinkedIn URL 身份校验、投资组合勘探、Clay 迁移以及出站自动化等场景。技能底层通过 Deepline CLI 编排 40+ 数据提供商，内置成本感知路由、瀑布回退与结果校验规则，并附带可用于 Deepline 云工作流的 JSON apply-payload 示例。使用需要 Deepline 账号，免费额度为 100 credits（约 300 次 enrichment），其余成本与限额未说明。
prometheus/OpenMetrics · Evolving the Prometheus exposition format into a standard.
OpenMetrics 是一个在 Prometheus exposition format 基础上扩展、并保持约 100% 向后兼容的规范项目，目前已迁入 Prometheus 组织并正在推进 OpenMetrics 2.0。仓库提供规范文件 specification/OpenMetrics.md、数据模型 proto proto/openmetrics_data_model.proto，以及提案流程说明（issue 分类标签、正式提案、已接受提案等），供社区讨论和贡献规范变更。
google/deeppolisher · Transformer-based sequence correction method for genome assembly polishing
DeepPolisher 是 Google 开发的基于 Transformer 的序列纠错方法（类似 DeepConsensus），用于识别基因组组装中的错误。它接收单倍型特异的 PacBio HiFi 读段及其比对到分相组装的结果，通过 make_images 与 inference 两步流程，生成包含潜在组装错误的 VCF 文件。当前仅支持 PacBio HiFi 组装与读段数据，模型在 HG002 HiFiasm 二倍体组装上训练，属于研究代码，非医疗器械、不用于临床。
microsoft/markitdown · Python tool for converting files and office documents to Markdown.
MarkItDown 是微软开源的轻量级 Python 工具，用于把 PDF、PowerPoint、Word、Excel、图片、音频、HTML、CSV/JSON/XML、ZIP、YouTube URL、EPub 等多种格式转换为 Markdown，并尽量保留标题、列表、表格、链接等文档结构，主要面向 LLM 与文本分析流水线。它提供命令行与 Python API，支持可选依赖、第三方插件、通过 LLM 生成图片描述，以及 Azure Document Intelligence 与 Azure Content Understanding 云端转换（后者按调用计费，并支持 YAML 结构化字段抽取）。