← 返回列表
推理与部署工具

Toskar Core：为自有硬件提供 OpenAI 兼容 API 的本地 AI 控制平面

yeixio/toskar-core · Run local AI across all your computers: one OpenAI-compatible API, automatic model placement, nothing leaves your machines.

GitHub原文发布 未知首次收录 2026-10-07上架 2026-10-08 07:04

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Toskar Core 是一个用 Go 编写的开源本地 AI 控制平面，目标是让在自有硬件上运行 AI 像使用托管服务一样简单。它自动检测 CPU、内存、存储和 GPU 等硬件，推荐并管理 GGUF 模型，启动 llama.cpp 运行时，并在多台配对的电脑之间发现节点、分配工作负载，同时对外暴露统一的 OpenAI 兼容 API。项目还包含本地 Web UI、持久记忆、连接知识库、工具与 MCP、定时自动化、模型性能诊断以及 LoRA 微调训练等功能。
# gguf# local-ai# llama-cpp# openai-compatible# distributed-systems

核心能力与快速开始

★ 0 · Go

能做什么
提供本地 AI 控制平面与守护进程（toskar），自动检测 CPU、内存、存储和加速器并判断可运行的模型；管理 GGUF 模型目录、Hugging Face 搜索、下载、启动与停止，并在空闲时卸载；内置 llama.cpp（llama-server）运行时适配器和外部 OpenAI 兼容服务器适配器；通过 Bifrost 在局域网内发现并配对电脑，由 Norn 将工作负载放置到可运行的节点；对外暴露 OpenAI 兼容的 GET /v1/models 与 POST /v1/chat/completions（支持流式 SSE）；提供本地 Web UI、CLI（toskar、toskarctl）、API 密钥与权限、健康检查与诊断包；支持 Auto 模型选择、profile 编排（单模型、planner + workers、Team）、跨对话持久记忆、Mimir 连接知识（文件、文件夹、上传、扫描 PDF、只读 SQL、Web API）、工具与 MCP 服务器、定时自动化与通知中心，以及基于 MLX/PyTorch 的 LoRA 训练与 GGUF 导出。
适用场景
适合希望在自有电脑或家庭实验室上运行本地模型、又不想深入理解模型格式、量化、GPU 后端和集群调度的用户；需要为现有应用或 IDE 提供统一 OpenAI 兼容接口的场景；希望把多台电脑组成算力池并按能力分配推理任务的部署；需要本地知识库检索、持久记忆、工具调用与定时自动化的个人或小团队；以及希望用自有数据微调专用助手并在本地部署的用户。
项目形态
可直接使用的工具
部署方式
支持 macOS（Apple Silicon 和 Intel）、Linux amd64/arm64、Windows amd64。macOS 可通过 Homebrew 安装，Linux 有 .deb 和 .rpm 包及 apt 仓库（未签名），Windows 提供未签名的 headless 压缩包，也可从源码构建。守护进程默认监听 127.0.0.1:7331，Bifrost 使用 7332；同一主机之外访问需开启本地网络访问、创建 API 密钥并重启服务，明文 HTTP 不加密流量。
主要依赖
从源码构建需要 Go 1.26.3 或更新版本、Node.js 22 和 pnpm 9。仅支持 llama.cpp（GGUF）和外部 OpenAI 兼容服务器两类运行时。具体硬件加速组合是否经过推理实测未说明，需参考兼容性文档。
使用限制
README 说明硬件探测成功不代表推理已在所有组合上验证过，加速器探测结果不构成推理可用的保证。外部访问使用明文 HTTP，需要信任所在网络。Windows 发行包未签名，Linux apt 仓库未签名。仓库内 Dockerfile 仅用于开发和集群检查，并非发布构建。Toskar Desktop 和 Toskar Mobile 不在本仓库内，是独立客户端。API 成本、资源占用与许可商用条件未说明。
许可证
AGPL-3.0
最近推送
2026-10-06 21:28
核对 README 依据 ↗

资料检查：2026-10-07 07:00 · 卡片整理：2026-10-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在自有硬件上运行本地模型，并通过 OpenAI 兼容 API（GET /v1/models、POST /v1/chat/completions）接入应用或 IDE，用于代码相关请求；还可使用工具（web search、files、shell、Git）与 MCP 服务器，以及 LoRA 微调训练专用助手。

查看内容依据
OpenAI-compatible `GET /v1/models` and `POST /v1/chat/completions`

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

使用本地模型进行对话与知识库检索（Mimir 连接文件、文件夹、上传、扫描 PDF、只读 SQL 数据库和 Web API），并可用定时自动化与条件通知辅助整理信息。

查看内容依据
Mimir connected knowledge: files, folders, uploads, scanned PDFs (text recognition), read-only SQL databases, and web APIs, searched by keyword and, with an embedding model, by meaning

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

llama-model-manager：管理 llama.cpp 模型预设与基准测试的 Linux CLI

llama-model-manager 是一个面向 Linux 的个人命令行工具，用于管理明确的 llama.cpp 模型预设、从 Hugging Face 下载并暂存 GGUF 模型、启动 llama-server，并运行可复现的基准测试。项目结构精简，包含一个 CLI 入口、若干无依赖的支持模块、一个安装/更新脚本，以及仓库外用户自有的配置文件。

llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理

llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。

Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎

Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。