推理与部署AI 资源

Off Grid AI：本地优先的端侧多模态 AI 运行时与 OpenAI 兼容网关

off-grid-ai/OGAD · Off Grid AI — private, on-device AI. Run open models (text, vision, image, voice) locally through one OpenAI-compatible gateway. No cloud, no accounts, no API keys.

GitHub原文发布未知首次收录 2026-09-21上架 2026-09-21 12:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Off Grid AI 是一个桌面端本地优先的 AI 运行时与工作室，通过内置的 llama.cpp、stable-diffusion.cpp、whisper.cpp 和 Kokoro，在用户机器上运行开源文本、视觉、图像、语音与语音识别模型，并提供统一的 OpenAI 兼容本地网关（http://127.0.0.1:7878/v1）。免费开源核心包含聊天（文本+视觉+推理模式）、图像生成、语音输入输出、Artifacts/Canvas、带 RAG 的项目、聊天工具与 MCP 连接器、模型目录与 Hugging Face 搜索。Pro 版本额外提供始终在线的端侧「看见/记忆/反思/行动」层，包括屏幕 OCR、日记与实体、回放、会议记录、听写、剪贴板管理与审批队列等，属于付费授权功能。所有推理均在本地完成，不经过官方服务器，无需账号与 API Key。

# MCP connectors # 本地运行 # 桌面应用 # 端侧AI # OpenAI兼容

核心能力与快速开始

★ 111 · TypeScript

能做什么: 在一个 Electron 桌面应用中集成：1）工作室——文本/视觉/推理聊天（含流式与 per-chat 设置）、基于 stable-diffusion.cpp 的文生图与图生图（SDXL-Lightning、SDXL、SD 1.5/2.1、Z-Image-Turbo）、语音转写（whisper）与语音合成（Kokoro-82M，多语言）及免手语音模式、Artifacts/Canvas（HTML、React/JSX、SVG、Mermaid、Markdown 在沙箱 iframe 中渲染）、Projects 项目与文档 RAG（txt/md/PDF/DOCX、图片、音频、视频，带引用来源）、聊天工具调用（计算器、日期时间等内置工具及任意 MCP 连接器）；2）网关——本地 OpenAI 兼容 API，覆盖 chat/completions、images（generations/edits）、audio/transcriptions、audio/speech、embeddings、models，支持无 UI 的 headless 模式，并可经 HTTP 拉取、激活、删除模型；3）模型目录——精选推荐与 Hugging Face 直接搜索，按模态设置活动模型；4）Pro 付费层——屏幕捕获 OCR、日日记/实体/回放、注意力反思、Google Meet 与 Zoom 会议记录转写、听写、剪贴板历史、带审批队列和审计日志的行动项。
适用场景: 在 Mac（Apple Silicon）或 Windows（x64）上完全离线地使用开源大模型聊天、生成图像、语音转写与合成；把本地模型作为 OpenAI 兼容服务接入自有应用、脚本或客户端；在无 UI 的服务器/家庭实验室上以 headless 方式运行模型并通过 HTTP 管理模型；在私人环境下对上传文档做带引用的 RAG 问答；通过 MCP 连接器把本地工具接入聊天；Pro 用户可将屏幕活动转成端侧记忆、回顾一天、记录会议、随时听写与检索剪贴板。
项目形态: 可直接使用的工具
部署方式: 提供 macOS（Apple Silicon，签名并公证的 .dmg）与 Windows（x64，NSIS .exe）安装包，可从 Releases 下载；也可从源码构建。支持仅运行网关的 headless 模式（如 --server-only 或 OFFGRID_SERVER_ONLY=1 npm run gateway）；所有推理本地进行，可完全离线使用。
主要依赖: macOS 为 Apple Silicon；Windows 为 x64。源码构建需要 Node 20、Git LFS（必须 git lfs pull 否则原生运行时启动失败）；Windows 构建需 Python 3.12 与 VS 2022 Build Tools，且必须在 Windows 本机构建（不支持从 macOS 交叉编译）。运行具体模型所需的磁盘、内存与显存要求材料未说明；Pro 授权的具体价格与设备限制细节材料未完整说明。
使用限制: Pro 功能位于独立的私有包中，需要购买许可证并在应用内激活（授权基于 Keygen，一份许可证最多覆盖 5 台设备），开放核心不含 Pro 功能。Windows 二进制在构建时从上游获取，且跨平台构建不受支持。部分模型（如 Z-Image-Turbo 标注为 2026 旗舰）信息按材料原文。各模型的硬件需求、速度与资源占用未说明。
许可证: AGPL-3.0
最近推送: 2026-09-21 02:48

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-21 07:00 · 卡片整理：2026-09-21 12:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

Aura-1B：CPU 原生的神经符号混合推理系统

Aura-1B 将语言生成、精确数学计算与事实记忆拆分成多个专用模块，而不是让单个小模型包办全部任务。系统以 Llama 3.2 1B Instruct（Q4_K_M，807 MB）为语言核心，配合安全的 AST 数学求值器、TF-IDF+逻辑回归路由器、遗传编程符号专家、DuckDuckGo 联网检索、事实图、PAL 计算、程序化思维（PoT）、逻辑求解器与轻量认知 Agent，在无 GPU 的机器上给出精确且可验证的答案。项目提供 .aef 密封分发格式（含 SHA-256 校验与可选 Ed25519 签名、AES-256-GCM 加密），并支持硬件自动调参。

Agent Launcher：在一个桌面应用中配置和运行现有编程 Agent CLI

Agent Launcher 是一个本地桌面工作区，用于检测并关联系统中已安装的编程 Agent CLI（如 Claude Code、Codex CLI、OpenCode、Pi、Gemini CLI、Hermes Agent），可为缺失的 CLI 提供一键安装，应用账号或服务商配置，并在内嵌终端或聊天视图中运行各 Agent。它支持项目文件夹会话、多套服务商配置档案与连通性检查、原生配置预览与密钥掩码、本地会话记录读取与续跑、MCP 服务器与 Skills 查看，以及本地用量统计面板。项目采用本地优先设计，MIT 许可，配置与密钥以明文存储于本机目录。

Viva：主动跟进的桌面 AI 助手

Viva 是一款基于 DeepSeek Harness 的桌面 AI 助手，支持 macOS 与 Windows。它可从对话和接入的消息源中识别待办事项，经用户确认后按设定时段在后台只读准备草稿，并在用户空闲时提醒。它提供文件、工作区预览、记忆、权限分档与操作确认，密码类密钥加密保存在本机，起草内容由用户自行发送。

LAVOCADO：本地优先的桌面露骨内容实时检测与自我戒断辅助工具

LAVOCADO 是一款面向 Windows 10/11 与 macOS 的本地优先桌面保护应用，不依赖网址或应用名，而是分析屏幕上实际显示的内容来检测色情与露骨内容。它结合用户配置的应用／网站黑白名单策略和本地视觉模型（NudeNet 640m、YOLO11 NSFW Small，以及用于区域排序的 Viddexa Nano/Mini），经高分辨率 ROI 复核、分块扫描、候选跟踪与独立新帧确认后，在对应显示器上触发“暂停—呼吸—就绪”的干预流程。项目定位为使用者自我戒断的边界工具，而非家长控制或监控产品；截图与像素数据只在本地内存中处理，可选 AI 打字冥想会调用外部 Chat Completions 接口（推荐 gpt-4o-mini），需自备 API 密钥且调用费用另计。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。