GarageAI：面向欧洲的本地 GPU 推理交易市场，通过统一 OpenAI 兼容 API 调用

magnusfroste/garageai · A marketplace for local AI inference in Europe: garage owners offer GPUs they already own, buyers call them through one OpenAI-compatible API, and owners get paid per token. NetBird mesh + LiteLLM gateway in the EU.

GitHub原文发布未知首次收录 2026-10-13上架 2026-10-13 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

GarageAI 是一个本地 AI 推理交易市场：拥有 GPU 的车库主通过 GarageAI Bridge 在用户态建立 WireGuard 隧道把算力接入网关，买家通过位于欧盟 VPS 上的 LiteLLM 网关获得 OpenAI 兼容 API，按 token 预付费调用；请求经 NetBird 网状网络（UDP 被阻断时的回退方案）路由到各家车库，支持模型 Pool 与指定车库两种购买方式，并具备自动故障转移与按 key/模型计费能力。项目强调本地化与欧洲数据主权，车库不暴露于公网，无需开放入站端口。

# llm-inference # LiteLLM # 本地模型 # p2p # local-inference

核心能力与快速开始

★ 1 · Go

能做什么: 提供双边市场：车库主注册并上架已有 GPU 上的本地推理运行时（Ollama、LM Studio、llama.cpp、vLLM、SGLang、Paddock（beta）），通过 GarageAI Bridge（开源命令行程序 garageai）运行 garageai connect，在用户态建立到网关的加密 WireGuard 隧道并注册模型，安装心跳服务保持模型同步，不开放入站端口；garageai doctor 可诊断问题，garageai uninstall 可卸载。所有模型在通过网关的真实流式请求验收测试（测量首 token 时间与每秒 token 数）后才可售卖。买家通过 https://api.garageai.eu/v1 使用 OpenAI 兼容接口，可选择 Pool（同一模型名跨多个车库，请求发往一个健康车库，按该车库价格计费，自动故障转移）或指定车库；按 token 预付费、无订阅，各车库自行定价，平台在启动期不收取费用。网关基于 EU VPS 上的 LiteLLM，按 key 与模型统计 token，处理重试与故障转移。仓库还包含 Astro 站点源码（src/）、网关基础设施（infra/gateway/）、CLI（cli/）以及架构与故障排查文档。
适用场景: 1) 拥有闲置或自有 GPU 的个人或车库主把硬件接入市场并按 token 获得收入；2) 需要欧洲本地化、数据主权或位置敏感（指定车库）的推理买家通过统一 OpenAI 兼容 API 调用本地模型；3) 面向希望用 OpenAI SDK、Agent 和编程工具直连替换 base URL 的开发者；4) 运营方按 infra/gateway/ 文档在 EU VPS 上自建 NetBird 网状网络与 LiteLLM 网关；5) 通过文档了解 Bridge 隧道设计、推理引擎支持矩阵与故障排查。
项目形态: 可直接使用的工具
部署方式: 运营侧：LiteLLM 运行于 EU VPS，配合自托管 NetBird 网状网络（作为 UDP 被阻断时的回退），网关配置见 infra/gateway/README.md，涉及设置、DNS、防火墙与备份。车库侧：macOS 或 Linux（Windows 处于 beta，需以管理员权限运行 PowerShell 脚本，且向导暂不支持 Windows），运行一条由向导生成的命令安装 Bridge 并执行 garageai connect，无需 VPN 应用，运行时可保留在 localhost。
主要依赖: 车库侧需要 macOS 或 Linux（Windows beta），已安装 Ollama、LM Studio、llama.cpp、vLLM、SGLang 或 Paddock（beta）等本地推理引擎，并拥有 GPU；连接过程会请求一次密码。买家侧需要注册账户、预充值并创建 API key，使用 OpenAI 兼容客户端指向 https://api.garageai.eu/v1。仓库站点开发需 npm install 与 npm run dev。具体硬件规格、GPU 型号支持范围与网络要求未说明。
使用限制: Windows 仅处于 beta，向导尚不支持，脚本在 CI 测试但未在真实 GPU 机器上验证；Paddock 引擎为 beta；按 token 预付费涉及费用，平台“启动期不收费”的说明不代表永久免费，各车库价格由其自定；是否可用于商业用途、具体 API 成本、SLA 与数据合规认证未说明；仓库 README 中提到的“默认自 2026 年 10 月”等时间表述未进一步说明。
许可证: MIT
最近推送: 2026-10-13 06:39

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-13 07:00 · 卡片整理：2026-10-13 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

程序员可将现有 OpenAI SDK、Agent 和编码工具的基础 URL 改为 https://api.garageai.eu/v1，通过 OpenAI 兼容 API 调用本地 GPU 上运行的模型（Ollama、LM Studio、llama.cpp、vLLM、SGLang 等），用于代码编写、测试和排错等开发工作。

查看内容依据

The API at `https://api.garageai.eu/v1` is OpenAI-compatible: change the base URL and the OpenAI SDKs, agents and coding tools just work.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Engineering-Knowledge-Agent：面向工程文档的本地 RAG 知识检索与问答助手

该项目是一个轻量的工程知识检索系统，把内部技术文档切分为文本块并用 SentenceTransformers（all-MiniLM-L6-v2）生成向量，写入持久化的 ChromaDB 向量库，再通过语义与关键词混合检索选出与问题最相关的片段，组装成提示交给本地或托管的 LLM 生成有依据的答案。项目强调隐私优先的本地推理（可对接 Ollama、llama.cpp 等）、分块与上下窗管理、以及仅基于检索内容作答以降低幻觉，适合用于内部文档搜索、运维手册与 SRE 剧本等知识密集型场景。

mainarch：绕过 ROCm 在 AMD GPU 上直接运行 LLM 推理

mainarch 是一个用 Rust 从零编写的程序，让计算机直接与 AMD GPU 硬件通信，绕过 ROCm、HIP、HSA 等中间软件层，用于低延迟的 LLM 推理服务。项目针对 AMD CDNA 架构（MI355X）优化，目前支持 OLMo 2 语言模型，可在本地完成对话、文本生成、翻译、摘要等任务，数据不出本机。README 声称可降低延迟、提升内存效率，但未给出具体基准数据。

Textus：带 AI 写作助手的 Markdown 编辑器

Textus 是一款面向 macOS、Windows 和 Linux 的 Markdown 编辑器，以 MIT 许可证开源。它实时渲染 Markdown，支持数学公式、表格和 Mermaid 图表，提供禅模式、打字机模式、分栏视图和源码模式四种写作模式，并可导出 PDF、Word、HTML 等格式。其 AI 写作助手可在写作过程中提供续写建议、错别字与语法提示，并以带理由的修改提案形式呈现，支持句级采纳、行内批注，能学习用户风格并记住人物和地点设定。Textus AI 可接入 20 多种 LLM 及任意 OpenAI 兼容端点，也支持通过 Ollama 使用本地模型。文档以纯 Markdown 文件保存在用户指定位置，API 密钥仅存于本机，AI 请求由设备直连所选服务商；编辑器可完全离线使用，AI 功能则由所用服务商提供。

Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法

Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。