colibri：用纯 C 在自有硬件上流式运行前沿 MoE 大模型的推理引擎

JustVugg/colibri · Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

GitHub原文发布未知首次收录 2026-09-15上架 2026-09-15 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

colibri 是一个以单个 C 文件实现的 MoE 推理引擎，将 VRAM、内存和 NVMe 视作统一的多层存储层级，把稠密部分常驻内存、路由专家按需从磁盘流式加载，从而在消费级或异构硬件上运行 744B 至 2.8T 参数的前沿 MoE 模型。它支持 GLM、Kimi K3、DeepSeek、Qwen、OLMoE 等模型家族，提供 chat / serve / web 前端，并包含专家多级驻留、双 SSD 条带、批合并读取、路由预取与本地集群模式等系统级优化，同时定位为可修改、可测量的开源推理研究平台。

# 开源 # LLM # CLI # 推理优化 # 量化

核心能力与快速开始

★ 31972 · C

能做什么: 以纯 C 实现、无引擎依赖的 MoE 推理引擎：把 VRAM/RAM/NVMe 作为同一份权重的多级放置层级，稠密部分常驻内存，路由专家从磁盘按需流式加载；带按层 LRU、学习型热专家固定缓存与一层前瞻预取的路由热度驱动放置；批合并读取、重叠异步 I/O、O_DIRECT 与双 SSD 按带宽加权条带；支持 CPU、CUDA、Metal、NUMA 内存及部分/完全专家驻留的异构执行；提供 57× 更小的 MLA KV 状态、token 精确前向校验与 MTP/语法草稿推测解码；支持 coordinator/worker 的本地集群模式，将路由 FFN 分发到其他机器；同一套 coli chat / coli serve / coli web 前端运行多个模型家族。
适用场景: 在自有消费级或多卡异构硬件上本地运行 744B 至 2.8T 参数的 MoE 模型；用第二块 SSD 存放模型镜像以提升专家读取带宽；在内存有限的笔记本上以磁盘流式方式慢速但正确地推理；在专家可完全驻留的大主机上让磁盘退出解码路径；通过 Web 面板观察专家路由热度、存储层级与 token 指标；在此基础上做模型格式、内存层级、调度、内核与推测解码的端到端实验。
项目形态: 可直接使用的工具
部署方式: 本地部署，纯 C 实现、运行时无 Python 与 BLAS 依赖，可选择是否需要 GPU；支持单机以及 coordinator + 多 worker 的本地集群模式。未说明具体安装步骤与支持的操作系统范围。
主要依赖: README 提及可在消费级与异构硬件上运行，示例中出现 6× RTX 5090 与 25 GB 笔记本等场景，并涉及 NVMe、多 SSD、NUMA 主机；不同模型与驻留策略对显存、内存和磁盘空间的需求不同（例如 744B 模型 int4 稠密部分约 9.9 GB 常驻内存、专家约 370 GB 存放磁盘）。具体的最低硬件与模型转换要求未在摘录中完整说明。
使用限制: 作者明确声明不承诺速度（no SLA on speed），快速内存不足会降低速度；路由历史缓存可能过拟合提示，前瞻预取在部分主机上可能失利；O_DIRECT 依赖驱动器，双 SSD 的收益仍需更大范围的端到端对比；MTP 推测在约 85% 专家命中率附近曾测得 32% 的性能损失；稠密层分片与浏览器/WebGPU worker 仍是后续方向。
许可证: Apache-2.0
最近推送: 2026-09-15 05:35

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-15 07:00 · 卡片整理：2026-09-15 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为纯 C 实现的 MoE 推理引擎，程序员可将其作为可修改、可测量的开源推理研究平台，在自有硬件上运行 GLM、Kimi K3、DeepSeek、Qwen、OLMoE 等前沿 MoE 模型，并通过 chat / serve / web 前端进行本地推理与实验。

查看内容依据

colibri 是一个以单个 C 文件实现的 MoE 推理引擎，将 VRAM、内存和 NVMe 视作统一的多层存储层级，把稠密部分常驻内存、路由专家按需从磁盘流式加载，从而在消费级或异构硬件上运行 744B 至 2.8T 参数的前沿 MoE 模型。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

TokenSpeed：面向智能体工作负载的高速 LLM 推理引擎

TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。

Pi：统一多提供商 LLM API、Agent 运行时与交互式编程 Agent CLI

Pi 是一个 Agent 工具包项目，包含可直接交互使用的编程 Agent CLI、带工具调用与状态管理的 Agent 运行时，以及统一多家模型提供商（OpenAI、Anthropic、Google 等）的 LLM API。项目还提供带差分渲染的终端 UI 库、遥测契约与独立的应用组合运行时，并说明其不自带权限系统，需要容器化或沙箱来加强隔离。

MarkItDown：将文件与办公文档转换为 Markdown 的 Python 工具

MarkItDown 是微软开源的轻量级 Python 工具，用于把 PDF、PowerPoint、Word、Excel、图片、音频、HTML、CSV/JSON/XML、ZIP、YouTube URL、EPub 等多种格式转换为 Markdown，并尽量保留标题、列表、表格、链接等文档结构，主要面向 LLM 与文本分析流水线。它提供命令行与 Python API，支持可选依赖、第三方插件、通过 LLM 生成图片描述，以及 Azure Document Intelligence 与 Azure Content Understanding 云端转换（后者按调用计费，并支持 YAML 结构化字段抽取）。

Dynamo：将多节点 GPU 集群编排为协调推理系统的数据中心级推理栈

Dynamo 是构建在 SGLang、TensorRT-LLM、vLLM 等推理引擎之上的开源数据中心级推理编排层，将这些引擎组织为多节点协调推理系统。它提供分离式预填充/解码服务、KV 感知路由、多级 KV 缓存卸载、SLA 驱动的自动扩缩容、模型权重流式加载与请求迁移容错等能力，面向 LLM、推理、多模态与视频生成等工作负载。项目以 Rust 实现核心性能、Python 提供扩展性，支持容器、PyPI 与 Kubernetes（含 Gateway API 推理扩展）等多种部署方式，并附带内置 recipes 与示例。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。