Local LLM Foundry：本地大模型运行时加载与模型管理控制台

nmorgowicz-org/local-llm-foundry · AI runtime loader and model-management control center for local LLM deployments.

GitHub原文发布未知首次收录 2026-10-22上架 2026-10-22 07:02

ELI5：它是什么，解决什么问题

Local LLM Foundry 是 llama.cpp 与 GGUF 推理的统一管理面板，提供模型库、硬件感知配置向导、GPU 与系统遥测、聊天工作区，并支持在 Apple Silicon 上以 Rapid-MLX 作为后端。它可发现和导入本地模型、估算显存并调优推理参数，托管 llama.cpp 与 Rapid-MLX 运行时的安装与更新，还提供 TLS、ACME、mTLS 等远程访问安全配置。

# LLM 推理 # 本地 GGUF 模型 # 遥测数据 # VRAM 优化 # 模型管理

核心能力与快速开始

★ 1 · Rust

能做什么: 管理本地 GGUF 模型库，可从本地或 Hugging Face 发现模型，并从 Ollama、LM Studio、Jan、GPT4All 等工具导入；读取 GGUF 元数据与张量形状，进行显存估算和上下文适配；通过向导调优上下文长度、GPU 卸载、KV 缓存精度、批处理、并行槽位、MoE CPU 卸载、Flash Attention、RoPE 等 llama-server 选项；支持多模态投影器和投机解码配置；托管 llama.cpp 构建的下载、安装、更新和回滚，也支持从源码构建；在 Apple Silicon 上以隔离环境管理 Rapid-MLX 运行时；提供实时吞吐、上下文压力、GPU 与系统遥测、聊天工作区和聊天历史问答等功能；支持 TLS、ACME 与 mTLS 远程访问配置。
适用场景: 适合在 macOS、Linux 或 Windows 本地部署并运行 llama.cpp/GGUF 模型的用户，用统一面板完成模型发现、配置与启动；适合需要依据硬件与量化信息调优上下文和显存占用的场景；适合需要实时监控推理吞吐、GPU 温度与资源使用的本地或远程部署；适合在 Apple Silicon 上尝试 Rapid-MLX 后端并管理其运行时的用户；也适合需要多会话聊天、提示控制和历史问答的本地推理使用。
项目形态: 可直接使用的工具
部署方式: 提供预编译二进制，可从最新 release 下载；也支持源码构建（cargo build --release）。应用内置更新机制。macOS 发行二进制经过代码签名与公证。未说明容器化或云托管部署方式。
主要依赖: 需具备 Rust 工具链以便从源码构建；运行时按硬件检测 AMD（rocm-smi）、NVIDIA（nvidia-smi）、Apple Silicon（mactop / MLX）等。llama.cpp 可从源码构建，支持 Metal、CUDA 与 CPU。具体 Python 环境、磁盘与内存下限未说明。
使用限制: Rapid-MLX 仅适用于上游验证过的模型目录，且面向 Apple Silicon。远程遥测依赖远程代理配置。项目材料未说明 API 成本、并发上限、模型许可范围或商用限制；开源许可为 MIT，但不构成对第三方模型或运行时商用条件的说明。
许可证: MIT
最近推送: 2026-10-22 07:01

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-22 07:00 · 卡片整理：2026-10-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

LLMKube：面向自托管 LLM 推理的 Kubernetes operator

LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。

AI Runway：在 Kubernetes 上部署与管理大模型推理的多提供商平台

AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。

FlashMLA：DeepSeek 高性能注意力算子库，支持 NVIDIA GPU 与华为昇腾 NPU 推理

FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。

DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架

DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。