Local Hybrid AI：面向数据主权的本地混合 AI 基础设施

核心能力与快速开始

★ 0 · Python

能做什么

提供八个 Docker Compose 栈的本地 AI 基础设施：Stack 00 准备主机目录、redlocal 网络、CA 信任与 TLS 证书；Stack 10 提供 HAProxy HTTPS 入口和落地页；Stack 20 提供可选的 SearXNG 本地网页搜索与 Firecrawl 提取；Stack 30 提供 LiteLLM AI 网关和模型凭据；Stack 40 提供 Gitea Git 服务器及 Actions runner；Stack 50 提供可选的 Dockhand Docker 管理 UI；Stack 60 提供带 SSH 沙箱的 Hermes 智能体；Stack 70 提供 Open WebUI 聊天界面。AI 消费者通过 LiteLLM 访问模型，并使用各自限定范围的密钥；Hermes 与 Open WebUI 在 Stack 20 运行时可用其进行网页搜索；Hermes 可将记忆保存在 Git 仓库中。./local-ai 命令用于准备、启动、停止和检查每个栈。

适用场景

适用于希望将 AI 推理与相关服务部署在自有 Linux 服务器和 Mac mini 上、以数据主权为导向的本地化场景，包括通过 Open WebUI 与 Hermes 使用经 LiteLLM 网关代理的本地模型、在本地运行 SearXNG 网页搜索与 Firecrawl 提取、使用 Gitea 托管 Git 仓库与 Hermes 记忆，以及通过 Dockhand 管理 Docker。

项目形态

可直接使用的工具

部署方式

在单台 Linux 服务器上以 root 从检出目录运行，使用八个 Docker Compose 栈；推理由运行 oMLX 的 Mac mini 提供，并通过 Caddy 置于 TLS 之后。./local-ai 命令管理各栈的 install、start、stop、status。

主要依赖

需要 Linux 服务器、Docker 环境、运行 oMLX 的 Mac mini、OMLX_API_KEY、.env 配置以及 CA 证书（rootCA.pem、tls.crt、tls.key）等；具体硬件规格未说明。

使用限制

命令一次只管理一个栈，不解析依赖、不升级也不备份。测试通过模拟 Docker 与主机运行，不验证真实安装。未知部署条件、硬件与 API 成本限制未说明。

许可证

MPL-2.0

最近推送

2026-10-04 00:36

资料检查：2026-10-04 07:00 · 卡片整理：2026-10-09 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在本地 Linux 服务器上部署并管理一套本地优先的 AI 基础设施，包括通过 LiteLLM 网关统一接入模型、使用 Open WebUI 聊天界面、运行带 SSH 沙箱的 Hermes 智能体，以及用 Gitea 托管代码和智能体记忆，从而在自有硬件上完成开发与 AI 辅助工作。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证