← 返回列表
推理与部署工具

local-inference-setup：本地语言模型自包含启动器的声明式配置

RafaGonzalezDev/local-inference-setup · Declarative configuration for self-contained launchers of local language models. Includes download manifests, validation scripts, documentation, and .cmd launchers with all inference parameters materialized.

GitHub原文发布 未知首次收录 2026-10-29上架 2026-10-29 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。
# Windows# llama.cpp# local-llm# gguf# OpenAI 兼容

核心能力与快速开始

★ 0 · Batchfile

能做什么
以清单形式声明若干 GGUF 模型及其推理 profile（上下文长度、采样、视觉等变体），每个 profile 对应一个自包含 .cmd 启动器，内含运行时路径、模型路径与全部有效参数；提供运行时分发安装、模型下载、哈希完整性校验、配置声明的启动器校验与简短功能测试脚本；服务端提供 Web 界面、OpenAI 兼容 /v1 API、/health 与 /v1/models 端点，模型 ID 与 profile 别名同时可被请求。
适用场景
在个人或小团队的 Windows 工作站上搭建本地语言模型推理服务，并让兼容 OpenAI API 的客户端（如文中提到的 WSL 客户端）接入；按模型与 profile 切换上下文长度或视觉能力；通过完整性校验与声明式配置检查在加载权重前发现配置或文件问题。
项目形态
可直接使用的工具
部署方式
本地 Windows 环境，通过 PowerShell 脚本安装 llama.cpp 运行时并下载模型；服务监听 0.0.0.0:8080，仅建议在可信私有网络使用，未提供鉴权。
主要依赖
README 列出的参考硬件为 AMD Ryzen 7 9800X3D、RTX 5080 16GB、64GB DDR5-6000、2TB NVMe；运行时固定为 b11551-cuda13.4，需 Windows 与 PowerShell。未说明其他最低配置或跨平台支持。
使用限制
仓库不包含模型权重与运行时二进制，须另行下载；同一时间只能有一个 profile 占用 8080 端口；客户端不能通过别名选择 profile，只能请求正在运行的那个；接口无鉴权，不适合暴露在不可信网络；模型与运行时版本随作者环境迭代，部分模型与构建已在 changelog 中退役。
许可证
MIT
最近推送
2026-10-29 04:53
核对 README 依据 ↗

资料检查：2026-10-29 07:00 · 卡片整理：2026-10-29 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在 Windows 本地搭建并启动语言模型推理服务，通过 OpenAI 兼容 API 与 Web 界面供编码或 agentic 客户端调用；仓库提供模型下载、完整性校验和启动器配置，便于程序员在本地运行模型进行开发与测试。

查看内容依据
OpenAI API: `http://localhost:8080/v1`

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

tinyforge：在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具，提供数据准备（文档切分、问答对生成、PII 扫描）、LoRA/QLoRA 训练、显存规划、微调前后对比评测（含遗忘检查与失败退出）、GGUF 导出以及 OpenAI 兼容服务端，并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例，同时作者声明项目处于早期 alpha、单 GPU 场景。

Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎

Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。

rolter：OpenAI/Anthropic 兼容的 AI 网关与负载均衡器

rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。

llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理

llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。