oMLX

Local Hybrid AI：面向数据主权的本地混合 AI 基础设施

ea1het/local_hybrid_ai · Local hybrid AI implementation in favor of data sovereignty

Local Hybrid AI 是一套本地优先的 AI 基础设施方案，在单台 Linux 服务器上通过八个 Docker Compose 栈，配合运行 oMLX 的 Mac mini 进行推理。项目提供 ./local-ai 命令，用于准备、启动、停止和检查各个栈，涵盖平台准备、HAProxy 的 HTTPS 入口、SearXNG 与 Firecrawl 的本地搜索、LiteLLM AI 网关、Gitea、Dockhand、带 SSH 沙箱的 Hermes 智能体以及 Open WebUI 聊天界面，强调数据主权与混合本地部署。