推理与部署综合合集

ODS（Osmantic 部署系统）：把个人电脑变成私有 AI 服务器的本地 AI 服务栈

Osmantic/ODS · ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. Turn your PC, Mac, or Linux box into a private AI server.

GitHub原文发布未知首次收录 2026-10-02上架 2026-10-02 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

ODS 是一个面向本地自托管的 AI 服务栈，通过一条安装命令把本地模型推理、Open WebUI 聊天界面、控制面板、语音、Agent 与工作流、RAG 与检索、图像生成、隐私与运维工具等预装并串联起来，无需手工组合 Ollama、Open WebUI、n8n、ComfyUI 等组件。支持 Linux、Windows（WSL2/Docker Desktop）与 macOS Apple Silicon，默认本地模式，也可选云或混合 API 模式。当前 V3 处于公开测试阶段的预发布版本。

# RAG # self-hosted # local-ai # open-webui # workflow-automation

核心能力与快速开始

★ 6952 · Python

能做什么: 提供一键式本地 AI 服务器部署：自动检测 GPU、选择适配模型、生成凭据并启动整套服务。能力包含本地模型推理、ChatGPT 风格 Web 聊天界面（Open WebUI）、统一控制面板（管理模型、服务、安装、GPU 状态与扩展）、语音、Agent 与工作流自动化、RAG 与私有检索、本地图像生成，以及服务鉴权、密钥、可观测性与诊断等隐私运维能力。服务以扩展形式组织，可通过 `ods enable` 启用扩展。支持云与混合 API 模式（使用 OpenAI/Anthropic/Together 等外部 API），端口均可通过环境变量配置。
适用场景: 适合希望在家中、实验室或工作站上私有化运行 AI 的用户：不愿手工拼接多个开源组件来搭建本地 AI 环境；需要本地聊天、语音、Agent 工作流、文档检索（RAG）与图像生成的一体化环境；需要在不依赖云服务的默认本地模式下保护提示与数据；也可用于需要连接外部 API 的云/混合模式场景。
项目形态: 可直接使用的工具
部署方式: 本地部署。Linux 与 macOS 通过 `curl -fsSL https://install.osmantic.com/ods.sh | bash` 安装（需已安装并运行 Docker）；Windows 通过 PowerShell 引导 WSL2/Ubuntu/Docker Desktop 安装；也可手工克隆仓库后在 `ods/` 目录执行 `./install.sh`。Linux Docker 安装默认暴露 llama-server 于 http://localhost:11434，Open WebUI 于 http://localhost:3000，Portal 于 http://localhost:3001/pixel。云模式使用 `./install.sh --cloud`。卸载命令见文档。
主要依赖: Linux（NVIDIA + AMD Strix Halo，Intel Arc/SYCL 为实验性 Tier C）、Windows（NVIDIA + AMD，需 Docker Desktop 与 WSL2 后端）、macOS（Apple Silicon M1+，需 Docker Desktop）。Windows 安装需 40 GB 可用磁盘与硬件虚拟化；NVIDIA 建议 Windows 驱动 570 或更新。测试过的 Linux 发行版包括 Ubuntu 26.04/24.04/22.04、Debian 12、Linux Mint 21.3、Fedora 41+、Rocky Linux 9、Arch Linux、Manjaro、CachyOS、openSUSE Tumbleweed 等。无 GPU 时可用云模式。
使用限制: V3 为公开测试与完善阶段的预发布版本，完整集群资格认证尚未完成，已知任务限制与剩余发布门槛见预发布说明。V3 修复提交到 main，release/2.6.x 为旧版维护分支；需要可复现性时应锁定 tag 或经审计的 commit。发布验证命令仍基于开发分支 main，不提供签名发布来源。Windows 原生安装不会被自动迁移或删除；WSL GPU 访问需单独验证；独立配置的 Lemonade 服务属外部管理；未绑定安装的旧 ODS 任务需重跑安装器。API 成本与限制、实际性能表现未在材料中说明。
许可证: Apache-2.0
最近推送: 2026-10-02 06:56

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-02 07:00 · 卡片整理：2026-10-02 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在本地硬件上搭建私有 AI 服务栈，用于本地模型推理、聊天界面、Agent 与工作流、RAG 与检索、图像生成以及服务认证、密钥、可观测性与诊断等运维工具，避免手工组合 Ollama、Open WebUI、n8n、ComfyUI 等组件。

查看内容依据

ODS installs and wires together everything you need to run AI locally, so you do not have to assemble Ollama, Open WebUI, n8n, ComfyUI, and privacy tools by hand

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

在本地或私有环境中使用预装的聊天界面、Agent 与工作流、RAG 与检索、图像生成等能力，用于产品探索与原型验证，且提示与数据默认留在本机。

查看内容依据

Local inference, Open WebUI chat, a control dashboard, voice, agents, workflows, RAG, search, image generation, privacy tools, observability, and developer tools.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

opentulpa：自托管个人 AI 智能体，在私信中通过聊天指令管理邮件、机器人构建与市场跟踪

opentulpa 是一个可自托管运行的 Windows 个人 AI 智能体，常驻于私信（如 Telegram）或应用界面中。它能读取并处理 Gmail 收件箱、拉取分享 Giphy 动图、自动构建简单的 Slack 与 Telegram 机器人、监控市场数据并按计划执行任务；同时会记录用户偏好并随使用逐步调整。智能体可自行编写并运行代码来完成任务，支持自动化脚本、自定义集成与 API 访问，数据保存在本机。

Fortémi：自托管 AI 知识库与混合检索检索增强平台

Fortémi 是一个面向 AI 应用的自托管智能数据库，基于 Rust 与 PostgreSQL 构建。它在统一的规范化 schema 之上集成了 BM25 全文检索、稠密向量检索与 RRF 融合的混合语义搜索，并提供知识图谱、MCP 服务器（44 个 Agent 工具）、多模态数据摄取（图像视觉、音频转写与说话人分离、视频场景分析、3D 模型渲染、邮件与表格解析等 13 类适配器）、131 种文档类型自动识别，以及 Ollama、OpenAI、OpenRouter、llama.cpp 多provider 推理切换。适用于知识管理、检索增强生成（RAG）、智能体记忆和团队文档等场景，支持从纯 CPU 到 GPU 的部署形态。

Clara：在自有 PC 上运行的私密本地 AI 助手，带 Android 手机应用

Clara 是一个可自托管的个人 AI 助手，运行在用户自己的电脑上，并配有 Android 手机应用进行交互。它的对话模型为 Bonsai 2 27B（在本地 NVIDIA GPU 上运行），Agent 采用 Hermes，另有小型路由器 Laya 判断消息是普通聊天还是真实任务。Clara 能在沙箱环境中执行网页研究、文件管理、代码运行、浏览器操作、提醒与定时任务，并支持语音模式、图片与文件识别、目标与晨间提示，以及 Gmail、Google Calendar、Outlook、OneDrive、Spotify、Notion、Todoist、GitHub、Slack、Discord、Telegram、Dropbox、Home Assistant、YouTube 发布等连接器。高风险操作会先推送到手机请求批准，密码保存在手机上、云端助力仅按任务授权并带每日每月上限和消费面板，也可通过 Tailscale 远程使用。项目为 Apache-2.0 开源，当前处于 Beta 招募阶段。

Askimo：本地优先的多模型 AI 桌面工作台

Askimo 是一款基于 Kotlin/Compose Multiplatform 的桌面应用，将多家 LLM 对话、本地文件 RAG 检索、联网搜索、多步骤 AI 工作流、MCP 工具接入以及自主编码 Agent CLI 委托整合在同一界面中。它强调隐私设计，文件、RAG 索引、会话历史与用量统计均保存在本机，支持语音输入输出与多语言界面。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。