Ghostlink：面向异构本地集群的分布式 LLM 推理织构

rwilliamspbg-ops/Ghostlink · Distributed LLM inference fabric for heterogeneous local clusters. Features zero-copy SPSC ring buffers, automated tuning, and an OpenAI-compatible API.

GitHub原文发布未知首次收录 2026-10-05上架 2026-10-16 07:07

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Ghostlink 是一个用 Rust 编写的分布式推理织构，面向由 CPU、GPU、NPU 混合组成的本地局域网集群。它通过 llama.cpp 的 ggml-rpc 后端拆分 GGUF 模型权重，自动发现局域网节点并按硬件能力放置负载，对外提供 OpenAI 兼容的 /v1/chat/completions API 服务；同时包含硬件探测、自动调优以及 SPSC 环形缓冲区、TCP/UDS 传输、AF_XDP 内核旁路等研究性组件（实验性质，其基准数值只反映传输分帧延迟而非 LLM 生成速度）。

# Rust # inference # 本地开发 # 分布式系统 # zero-copy

核心能力与快速开始

★ 50 · Rust

能做什么: 通过 llama.cpp 的 ggml-rpc 后端在局域网内跨机器拆分 GGUF 模型权重，实现零配置的分布式推理；自动探测 CPU、GPU（CUDA、DirectML、ROCm、Vulkan、Metal）与 NPU 等加速器，并做硬件感知的负载放置；提供 OpenAI 兼容的 /v1/chat/completions API 服务器，并配有 Go 控制面网关（CORS、请求日志、速率限制、流式代理）和 React 图形界面；包含基于 llama.cpp 原生后端或 Ollama 的推理路径选择；另含实验性研究组件：零拷贝 SPSC 环形缓冲区（flow）、TCP/UDS 传输管线与 AF_XDP 内核旁路。
适用场景: 把同一局域网内已有的混合硬件（游戏 GPU、旧笔记本、带 NPU 的轻薄本、Mac）组成一个推理集群，用于自托管的 LLM 对话服务；需要 OpenAI 兼容接口的本地部署场景；希望免写 YAML、免手动配置 --rpc 标志快速搭建分布式推理的开发者；对传输层零拷贝、内核旁路等网络性能做研究的实验场景。
项目形态: 可直接使用的工具
部署方式: 支持三种方式：1) 通过官方 install.sh / install.ps1 一行脚本安装预编译 ghost-link 二进制（x86_64/amd64 专用，安装到用户可写目录，无需 sudo）；2) 从源码构建完整栈（含浏览器 GUI）；3) 使用 Docker Compose 启动。预编译发行资产仅包含 ghost-link 二进制、校验和与 SBOM，不含 Go 控制面网关和 React GUI。
主要依赖: 从源码构建需要 Rust、Go（控制面网关）、Node.js、Git；CMake 用于 llama.cpp（Linux/macOS 下可选，无 cmake 时使用预编译 llama-server 回退）；Windows 下还需 C++ Build Tools，使用原生 Vulkan GPU 卸载需 Vulkan SDK。Docker 路径仅需 Docker。ROCm 检测须以 --features rocm 编译。使用 Ollama 后端需 PATH 中存在 ollama 二进制。
使用限制: 预编译发行二进制仅支持 x86_64/amd64，安装脚本会拒绝非 x86_64 主机。单行安装不包含 Go 控制面网关与 React GUI，完整 GUI 需源码构建或 Docker。SPSC 环形缓冲区、flow 管线、TCP/UDS 传输与 AF_XDP 内核旁路为实验性研究路径，且 /v1/chat/completions 并不运行在 ghost-link flow 上；这些组件的合成 tok/s 测量只反映传输分帧延迟，不代表 LLM 生成速度。管道吞吐数据基于 64 字节/令牌的合成负载，是传输层上限而非真实 LLM 工作负载数据。docker-compose.demo.yml 是已停止维护的旧原型。
许可证: MIT
最近推送: 2026-10-05 06:54

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-05 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在本地局域网内搭建分布式 LLM 推理服务：通过 llama.cpp 的 ggml-rpc 后端拆分 GGUF 模型权重，自动发现局域网节点并按 CPU/GPU/NPU 硬件能力放置负载，对外提供 OpenAI 兼容的 /v1/chat/completions API，供开发者在自有硬件上自托管模型推理。

查看内容依据

Discover LAN peers → Split GGUF model weights via `ggml-rpc` → Serve OpenAI-compatible `/v1/chat/completions`.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

outturn：多租户 Agent 平台的 Rust 运行时基础

outturn 是一个用 Rust 构建的多租户 Agent 平台基础框架，面向需要让每个客户都能运行各自 Agent 的公司。它内置租户隔离、按租户用量归因、在 WebAssembly 沙箱中运行 Agent 代码、默认拒绝的出站访问规则、网关集中保管凭证、每轮签名令牌，以及防止单个租户故障影响其他租户的断路器。项目处于早期开发阶段，接口可能变动，提供本地 Kubernetes 集群的开发与演示流程，以及面向真实部署的密钥与清单生成脚本。

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

PageSift：为 AI Agent 与 RAG 管线提供高吞吐、内存受限的网页抓取与内容提取引擎

PageSift 是用 Rust 编写的高性能、内存受限网页抓取与内容提取引擎，面向 AI Agent 和 LLM 管线，将网站、文档和归档转换为干净的 Markdown 与结构化数据。它支持自适应爬取、PDF/RSS 解析、浏览器渲染和字符集检测，提供 Firecrawl v1/v2 与 Jina Reader 兼容 API、MCP 服务，以及 Python/Node.js SDK 和 CLI。项目采用 AGPL-3.0 许可，并另提供商业许可选项，材料中给出了 Docker、pip、npm、cargo 和 MCP 的入门方式。

oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎

oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。