DataFusion Distributed：为 Apache DataFusion 提供分布式查询执行能力的库

datafusion-contrib/datafusion-distributed · Library for bringing distributed capabilities to Apache DataFusion

GitHub原文发布未知首次收录 2026-10-03上架 2026-10-03 07:01

ELI5：它是什么，解决什么问题

DataFusion Distributed 是一个 Rust 库，为 Apache DataFusion 扩展分布式查询执行能力。它并非开箱即用的分布式引擎，而是用于构建分布式引擎的工具包，分布式计划仍是一个普通的 DataFusion 物理计划，只是增加了一些在机器之间传输 Arrow 数据的节点，因此可以以较小改动把已有的单机 DataFusion 系统升级为分布式执行。项目对网络栈不做限定，不区分 coordinator 与 worker，任意节点都可充当协调者或工作节点，并为常见的基于文件的数据源提供默认配置。

# Rust # 数据处理 # Apache DataFusion # 分布式查询 # Apache Arrow

核心能力与快速开始

★ 141 · Rust

能做什么: 为 Apache DataFusion 增加分布式查询执行能力；分布式计划即普通 DataFusion 物理计划加少量跨机传输 Arrow 数据的节点；支持在会话中启用分布式 planner、指定 worker 位置并运行 worker gRPC 服务；对网络栈保持中立，用户自行提供承载 DataFusion 节点的基础设施；无 coordinator-worker 之分，任意节点都可作为协调者或 worker；可为自定义 ExecutionPlan 提供分布式支持并收集运行时指标；对常见的基于文件的数据源提供默认配置。README 给出 TPC-H 与 TPC-DS 基准对比数据，称其在相同集群条件下优于对比引擎。
适用场景: 将现有单机 Apache DataFusion 系统改造为可跨集群执行；基于该库构建自有分布式查询引擎；在 S3 等对象存储上的 Parquet 文件数据源场景下进行分布式查询；需要在保持 DataFusion 现有 API 与物理计划模型的前提下扩展分布式能力；对分布式查询执行性能做基准评估。
项目形态: 开发框架
部署方式: 未说明；README 提到需要启用分布式 planner、指定 worker 地址并运行 worker gRPC 服务器，基准测试使用 12 台 AWS EC2 c5n.2xlarge 实例组成的集群，但未给出正式部署要求。
主要依赖: Rust 生态；使用 Apache DataFusion；需要自行提供承载节点的网络基础设施。其余未说明。
使用限制: 不是开箱即用的分布式引擎，而是用于构建分布式引擎的库；对网络栈不设主张，需用户自行解决节点托管；基准测试结果基于特定 AWS 集群（12 台 c5n.2xlarge、S3 上的 Parquet）与特定查询集，未必适用于其他环境；项目声明不属于 Apache DataFusion 官方项目。许可证为 Apache-2.0，其余使用与商业条款未说明。
许可证: Apache-2.0
最近推送: 2026-10-02 23:41

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-03 07:00 · 卡片整理：2026-10-03 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

outturn：多租户 Agent 平台的 Rust 运行时基础

outturn 是一个用 Rust 构建的多租户 Agent 平台基础框架，面向需要让每个客户都能运行各自 Agent 的公司。它内置租户隔离、按租户用量归因、在 WebAssembly 沙箱中运行 Agent 代码、默认拒绝的出站访问规则、网关集中保管凭证、每轮签名令牌，以及防止单个租户故障影响其他租户的断路器。项目处于早期开发阶段，接口可能变动，提供本地 Kubernetes 集群的开发与演示流程，以及面向真实部署的密钥与清单生成脚本。

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

PageSift：为 AI Agent 与 RAG 管线提供高吞吐、内存受限的网页抓取与内容提取引擎

PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。

oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎

oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。