Dynamo：将多节点 GPU 集群编排为协调推理系统的数据中心级推理栈

ai-dynamo/dynamo · A Datacenter Scale Distributed Inference Serving Framework

GitHub原文发布未知首次收录 2026-09-15上架 2026-09-15 07:03

ELI5：它是什么，解决什么问题

Dynamo 是构建在 SGLang、TensorRT-LLM、vLLM 等推理引擎之上的开源数据中心级推理编排层，将这些引擎组织为多节点协调推理系统。它提供分离式预填充/解码服务、KV 感知路由、多级 KV 缓存卸载、SLA 驱动的自动扩缩容、模型权重流式加载与请求迁移容错等能力，面向 LLM、推理、多模态与视频生成等工作负载。项目以 Rust 实现核心性能、Python 提供扩展性，支持容器、PyPI 与 Kubernetes（含 Gateway API 推理扩展）等多种部署方式，并附带内置 recipes 与示例。

# 开源 # Rust # 多模态 # 推理优化 # Kubernetes

核心能力与快速开始

★ 8074 · Rust

能做什么: Dynamo 作为推理引擎之上的编排层，将 SGLang、TensorRT-LLM、vLLM 等引擎组织为跨多 GPU/多节点的协调推理系统。核心能力包括：分离式预填充/解码（Prefill/Decode 独立扩缩容的 GPU 池）、基于 worker 负载与 KV 缓存重叠的 KV 感知路由、KV Block Manager（KVBM）实现 GPU→CPU→SSD→远程存储的 KV 缓存卸载、ModelExpress 通过 NIXL/NVLink 实现 GPU-to-GPU 权重流式加载以加速冷启动、SLA 驱动的 Planner 自动扩缩容、面向 NVL72 拓扑感知调度的 Grove K8s operator、离线预测服务行为的 AISimulate，以及带 canary 健康检查和请求迁移的容错能力。还支持多模态 E/P/D 分离、视频生成（FastVideo、SGLang Diffusion）、工具调用、agentic 推理请求提示等。
适用场景: 适合在多个 GPU 或多节点上服务 LLM，并需要统一协调的场景；希望使用 KV 感知路由避免冗余预填充计算、独立扩缩容预填充与解码、以最低 TCO 满足延迟 SLA 自动扩缩容、以及需要新副本快速冷启动的场景。README 明确指出：若只在单 GPU 上运行单模型，单用推理引擎可能已足够。典型部署包括本地开发、单集群部署（Dynamo 原生 Frontend 路由）以及标准化于 Kubernetes Gateway API 的平台（GAIE 路由），覆盖 LLM、reasoning、多模态与视频生成工作负载。
项目形态: 可直接使用的工具
部署方式: 提供三种方式：容器（如 nvcr.io/nvidia/ai-dynamo 预构建镜像）、PyPI 安装（uv pip install "ai-dynamo[sglang]" 或 [vllm]，TensorRT-LLM 需额外 index）、以及推荐用于生产多节点集群的 Kubernetes（Dynamo Platform，支持单 manifest 零配置部署与 Gateway API 推理扩展）。
主要依赖: Kubernetes 部署需 GPU 环境并涉及具体硬件（如 GB200 NVL72、GB300 NVL72、H200、B200）。从源码构建需 Ubuntu 24.04、build-essential、libhwloc-dev、libudev-dev、pkg-config、libclang-dev、protobuf-compiler、python3-dev、cmake、Rust 工具链以及 uv/maturin。具体硬件与 API 成本、资源限制未说明。
使用限制: README 指出若在单 GPU 上运行单模型，单独使用推理引擎可能已足够，说明其价值主要体现在多节点/多 GPU 协调场景。功能矩阵中对 SGLang 的 KVBM 支持标注为在建（🚧）。仓库 license 字段为 NOASSERTION，实际许可与商用条件未说明。延迟、吞吐等关键结果来自外部基准，未在材料中说明验证条件。
许可证: NOASSERTION
最近推送: 2026-09-15 07:02

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-15 07:00 · 卡片整理：2026-09-15 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

outturn：多租户 Agent 平台的 Rust 运行时基础

outturn 是一个用 Rust 构建的多租户 Agent 平台基础框架，面向需要让每个客户都能运行各自 Agent 的公司。它内置租户隔离、按租户用量归因、在 WebAssembly 沙箱中运行 Agent 代码、默认拒绝的出站访问规则、网关集中保管凭证、每轮签名令牌，以及防止单个租户故障影响其他租户的断路器。项目处于早期开发阶段，接口可能变动，提供本地 Kubernetes 集群的开发与演示流程，以及面向真实部署的密钥与清单生成脚本。

oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎

oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。

TokenSpeed：面向智能体工作负载的高速 LLM 推理引擎

TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。

OpenMAIC：多智能体交互式课堂生成平台

OpenMAIC（Open Multi-Agent Interactive Classroom）是一个开源 AI 平台，可将任意主题或文档转化为沉浸式交互课堂。基于多智能体编排，它能生成幻灯片、测验、交互式 HTML 模拟和项目式学习（PBL）活动，并由能讲解、在白板作画、实时讨论的 AI 教师和 AI 同学呈现。v1.0.0 新增 Agent 工作台，可通过对话规划、构建和修订整门课程，支持上传文档/音频/视频作为会话材料。项目还提供标准 SKILL.md 技能包，可接入 OpenClaw、Codex、DeepSeek、WorkBuddy 等智能体工作台，从飞书、Slack、Telegram 等消息应用或 IDE 中生成课堂。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。