推理与部署AI 资源

Project Maya：在本地 GPU 上私有运行 GLM-5.3-Flash 大模型的推理引擎

mw00/project-maya · Project Maya - run GLM-5.3-Flash (321B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.

GitHub原文发布未知首次收录 2026-10-15上架 2026-10-19 09:00

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Project Maya 是面向 GLM-5.3-Flash（321B 参数 MoE，约 18B 激活参数，上下文最高 1M tokens）的本地推理引擎与配套工具集。它把对话常用专家放在 GPU、次常用的放在内存、其余放在 NVMe SSD 上，并测量硬件自动调优，支持单卡至 16 卡、NVIDIA 与实验性 AMD/Windows。内置浏览器聊天与实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API（含工具调用）以及并发请求，并提供 Maya-S/S24/M/L 等自研量化版本。

# 本地部署 # CUDA # 量化推理 # 混合专家 # OpenAI 兼容 API

核心能力与快速开始

★ 844 · C++

能做什么: 提供针对 GLM-5.3-Flash 定制的推理引擎，按 GPU/内存/NVMe SSD 分层存放 MoE 专家并随对话迁移；自动测量 CPU、GPU、RAM 与 SSD 并调优；支持单卡至 16 卡 NVIDIA（计算能力 7.0 及以上）以及实验性 AMD ROCm 7 与 Windows；提供 Maya-S/Maya-S24/Maya-M/Maya-L 等量化版本，官方称保留 FP8 模型 97.7%–99.2% 的零样本准确率；自带浏览器聊天、实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API、流式工具调用、并发请求与长上下文 KV 流式；附带速度基准与报告工具。
适用场景: 适合希望在自有 GPU 上私有运行大模型、避免数据外发的个人或团队；可用于在单卡或多卡工作站上部署本地聊天服务；通过 OpenAI/Anthropic 兼容接口接入编码代理与自有应用；在浏览器中进行图文对话、调整思考深度与上下文长度；对硬件进行速度基准与调优对比。
项目形态: 可直接使用的工具
部署方式: 本地部署。Linux x86-64 为主要支持平台（需 NVIDIA 驱动、CUDA 12.x、g++、Python 3.10+），Windows 10/11 为实验性支持且不支持 WSL2；AMD 为实验性支持（ROCm 7）。安装方式为克隆仓库后运行 ./setup.sh（Windows 用 START-MAYA.bat），构建约 20–40 分钟并下载模型。
主要依赖: GPU：NVIDIA 计算能力 7.0 或更新，可单卡至最多 16 卡共享模型，显存越多越快；AMD 实验性支持指定型号且仅文本。RAM 至少 32 GB，更多内存可缓存更多专家。磁盘需快速 NVMe SSD，模型约 100 GB（Maya-S）至 160 GB（Maya-L），另有 1.1 GB 图片编码器；不可用机械硬盘。软件需 CUDA 12.x（RTX 20 及以上可用 CUDA 13，V100 不可）与 Python 3.10+。
使用限制: 启动时引擎会占用大部分空闲内存（约保留 6 GB 给其他程序），运行期间其他程序可用内存很少；首次启动与缓存填充阶段较慢。Windows 与 AMD 支持标注为实验性且仅文本。可选 DFlash2 草稿模型采用 CC BY-NC-ND 4.0 许可，仅限非商业使用。DeRisked 变体为实验性且准确率未测量。未说明 API 调用成本、云托管方式或商业支持。
许可证: MIT
最近推送: 2026-10-15 04:26

官方入门核对 README 依据 ↗

资料检查：2026-10-15 07:00 · 卡片整理：2026-10-19 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

Eke Hive：面向 DeepSeek/GLM/Qwen 系列的单卡混合 CPU+GPU 推理引擎

Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

DeepEP：面向 MoE 训练与推理的高性能专家并行通信库

DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。