llamaMan：在 Docker 中启动、监控与集群管理多个 llama.cpp 实例的浏览器界面

nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy

GitHub原文发布未知首次收录 2026-09-25上架 2026-09-25 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。

# 本地推理 # llama.cpp # 多模型支持 # 推理与部署 # 集群管理

核心能力与快速开始

★ 14 · Python

能做什么: 提供浏览器 UI 与 REST API 前端，通过 Docker socket 以兄弟容器方式启动和监控多个 llama.cpp（llama-server）实例；支持单机或异构多节点集群，带聚合仪表盘与共享队列负载均衡；内置一键启动与按模型预设、实时更新部分启动参数；覆盖投机解码（多种 draft 家族）、MoE 卸载、Flash Attention、KV 量化、推理格式、加载模式等启动项。提供兼容 Ollama 与 OpenAI 的代理（:42069），按需自动拉起模型并在达到 LLAMAMAN_MAX_MODELS 后做 LRU 淘汰；支持模型库与 HuggingFace 下载（限速、断点续传、自动重试、原子更新）；图片与 PDF（多模态 --mmproj、逐页栅格化或文本直取）输入。含用户账号、API Key 与端点级认证开关；持久状态可用 JSON 或 MariaDB/MySQL；支持请求记录与统计、每实例 TTFT/吞吐/延迟、GPU 显存与容器资源监控、反循环（DRY 采样 + 代理侧循环检测）、空闲超时、按模型展示名，以及可选的本地知识库与 MCP 服务器。
适用场景: 适合需要在自有硬件（NVIDIA/AMD ROCm/Intel Arc/CPU）上以 Docker 方式集中管理多个 llama.cpp 推理实例的团队或个人；用于给 Open WebUI 或其他 OpenAI/Ollama 客户端提供本地模型服务前端；用于在小规模异构 GPU 集群上按负载分摊同一模型请求；用于管理 GGUF 模型下载、预设与版本更新；用于本地多模态（图片/PDF）推理与请求统计记录；用于在内网中以用户/API Key 控制模型服务访问。
项目形态: 可直接使用的工具
部署方式: 默认以 Docker 运行（llamaman-net，通过容器名访问兄弟容器），也支持在宿主机上裸机运行（通过 localhost 端口访问生成的容器），模式可自动检测并用 LLAMAMAN_IN_DOCKER 覆盖。需要挂载 /var/run/docker.sock 以启动兄弟容器。可通过 docker compose up --build 启动；管理界面默认在 :5000，Ollama 兼容 API 在 :42069，实例端口为 8000-8020。
主要依赖: Docker 且可访问 /var/run/docker.sock；GPU 方案需满足其一：NVIDIA Container Toolkit（NVIDIA）、ROCm 兼容环境（AMD）、带 /dev/dri 的 Intel Arc，或纯 CPU。需在 docker-compose.yml 中设置 HOST_MODELS_DIR / HOST_LOGS_DIR 的真实宿主机路径，并且 LLAMAMAN_NODE_NAME 为必填（作为存储分区键）。选择并拉取对应的 llama.cpp server 镜像（server-cuda / server-rocm / server-sycl / server-vulkan / server）。集群模式需要 MariaDB/MySQL；裸机运行需要 pip install -r requirements.txt。
使用限制: llamaMan 自身不含 llama.cpp 代码，也不直接依赖 GPU，实际推理由生成的 llama-server 容器完成。挂载 /var/run/docker.sock 意味着容器拥有宿主机 Docker 的完全控制权。单主机内不能水平扩展（单 gunicorn worker + 内存态），跨节点请求期间入口节点与目标节点各占用一个线程。LLAMAMAN_NODE_NAME 首次启动后更改会孤立已有存储数据。存储后端 MariaDB 位于每个请求的关键路径上；ResilientBackend 镜像模式默认关闭。DRY 采样与代理侧循环检测默认关闭。集群、知识库、MCP 与请求记录均为可选项。许可证信息为 NOASSERTION，材料未说明商业使用、成本或性能上限。
许可证: NOASSERTION
最近推送: 2026-09-25 05:08

官方入门核对 README 依据 ↗

资料检查：2026-09-25 07:00 · 卡片整理：2026-09-25 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可用 llamaMan 在单机或小型集群上通过浏览器界面启动、监控和管理多个 llama.cpp（llama-server）实例，并利用其兼容 Ollama 与 OpenAI 的代理（:42069）对接 Open WebUI 等客户端进行本地大模型推理服务。

查看内容依据

llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Prometheus：自托管 LLM 推理平台与安全 API 网关

Prometheus 是一个自托管的小型语言模型（SLM）推理平台，以 FastAPI 网关作为唯一受控入口，提供 JWT 认证、基于角色的时效令牌、按模型的细粒度授权范围（model:<id>）、限流与熔断，并支持跨主机的多后端模型管理（llama.cpp / MLX / vLLM / SGLang）。网关以 OpenAI Chat Completions 兼容格式暴露 /v1/chat/completions 与 /v1/models 接口，配合 React 管理后台与 OpenTelemetry 全链路追踪，采用 Podman 原生方式部署，强调数据不出内网、无厂商锁定。

TensorFold：在 Apple Silicon 与 NVIDIA GPU 上提供精确 LLM 解码的 OpenAI 兼容端点

TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。

MaxToken：在 Apple silicon 上以有限内存服务大型 MoE 模型

MaxToken 是 FlashML FreeToken 的独立分支，把面向边缘的 MoE 推理引擎改造成 Apple silicon 优先的运行时，目标是“用最少内存产出最多 token”。它基于 MLX 执行，只保留稠密核心常驻内存，把路由专家放到由 SSD 直接读取驱动的弹性、硬预算槽位缓存中；当模型可容纳时则使用零拷贝内存映射存储以常驻内核速度运行。项目提供 OpenAI 与 Anthropic 兼容 API（Claude Code、Codex 可直接对接）以及内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），并支持原生 MTP 投机解码与草稿模型投机解码。仅在 Apple silicon（macOS、Metal）上运行，0.0.1 起移除了上游 CUDA 引擎。

KubeMind SDK：在 Kubernetes 上编排、推理与自愈 AI 工作负载的 Python SDK

KubeMind SDK 自称是面向 Kubernetes 上 AI 工作负载的“认知结构”Python SDK，提供语义化流水线构建、预测式自动扩缩、基于概率依赖图的自愈能力、PyTorch/TensorFlow/JAX/ONNX 多框架运行时统一封装、因果时间线可观测性、Web 仪表盘、多语言错误提示与零信任安全壳等功能，并提供 gRPC/GraphQL/WebSocket 桥接以便非 Python 服务接入。README 中的性能数字与预测准确率均属其自述基准，未提供可核验材料。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。