推理与部署AI 资源

LlamaForge：面向 llama.cpp 的浏览器端本地大模型控制面板

dadwritestech/LlamaForge · Open-source control panel for the real llama.cpp: see where a model lands in your VRAM before loading, every llama-server flag per model, one-click llama.cpp updates, several models at once, and Embers (local agents whose quotes are checked by code). Windows · Linux · macOS.

GitHub原文发布未知首次收录 2026-11-03上架 2026-11-03 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

LlamaForge 是一个开源控制面板，它不自带模型，通过驱动官方 llama.cpp 的 llama-server 路由并编辑 models.ini，在浏览器中管理本地 GGUF 模型的下载、加载、参数配置与对话。提供按显存评估模型能否装下、查看并调整全部 llama-server 参数、一键更新 llama.cpp、多模型并行、盲测竞技场、本地 TTS、定时追踪型本地 Agent、Hugging Face GGUF 发现与下载，以及 OpenAI/Anthropic 兼容 API 与 MCP 接入。项目为早期预览，Windows + NVIDIA 为测试较多的路径，Linux 和 macOS 实机使用较少。

# 本地推理 # llama.cpp # gguf # OpenAI 兼容 API # 显存评估

核心能力与快速开始

★ 120 · Python

能做什么: 在浏览器中驱动官方 llama.cpp 的 llama-server：按显存预估模型是否放得下、管理模型列表与显存/温度统计、逐项编辑 llama-server 的全部参数、保存后原地重载模型、切换思考与视觉开关、使用预设与启动配置、多模型同时加载、游戏模式与 Elastic VRAM 层迁移。含 Auto-Forge 在自有 GPU 上实测参数组合并回写 models.ini（支持一键撤销），以及盲测 Arena、llama-tts 语音、定时本地 Agent（Embers）、Hugging Face GGUF 搜索下载和 Build/Update 一键安装官方构建并支持回滚。对外提供 OpenAI 兼容接口、Anthropic 兼容 /v1/messages、OpenAI speech 接口和 MCP server。
适用场景: 适合希望在自有显卡上用官方 llama.cpp 引擎运行本地 GGUF 模型、需要细粒度控制每个模型启动参数的用户；用于下载前评估量化版本与显存匹配度、对多个模型做盲测对比、让编码 Agent（Claude Code、Codex、pi.dev）通过 MCP 或 API 调用本地模型、为 Open WebUI 等 OpenAI 兼容客户端提供本地后端，以及在家中或局域网内通过手机访问已加载模型。
项目形态: 可直接使用的工具
部署方式: 本地部署：仪表盘仅监听 127.0.0.1，提供 Windows/Linux/macOS 一键安装脚本与源码 bootstrap 方式；可选 LAN 访问与手机远程（需开启并配合 Tailscale 等），Linux/macOS 可注册为登录自启服务。
主要依赖: Python 3.10+（仅标准库，Windows 安装器自带）；支持 Windows 10/11、Linux、Apple Silicon macOS；GPU 可选 NVIDIA（CUDA）、AMD/Intel（Vulkan）或 Apple（Metal），CPU 也可运行。显存预览、适配评分和 GPU 统计仅读取 NVIDIA 与 Apple 显存信息；AMD/Intel 实机尚未测试。源码构建另需 Git、CMake、Ninja 和 C++ 编译器。
使用限制: 项目为早期预览，Windows + NVIDIA 是测试最多的路径，Linux 与 macOS 虽通过 CI 但实机使用较少；Auto-Forge 与 Elastic VRAM 标注为 NVIDIA；不包含 llama.cpp 代码，依赖外部引擎；无法提供按客户端的统计，因为客户端直接连接路由；README 未说明 API 调用成本与商用许可范围。
许可证: MIT
最近推送: 2026-11-02 10:29

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-03 07:00 · 卡片整理：2026-11-03 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

llamaMan：在 Docker 中启动、监控与集群管理多个 llama.cpp 实例的浏览器界面

llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。

Unridden：读取本地 LLM 末位 logits 的零生成决策 API

Unridden 是一个本地决策 API，通过读取本地 LLM 末位标签 logits 来回答结构化问题，不生成任何 token。用户提供 state 和一个命名问题映射，服务为每个问题返回一个类型化答案：Choice（选项）、Score（分数）或 Noul（真/假概率）。它在本地以单个 llama.cpp 子进程运行，一次处理一个请求，不采样也不追加 token，适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。