综合合集
mfellner/sparkrun-recipes · Custom SparkRun recipes for DGX Spark-class systems
该项目是面向 NVIDIA DGX Spark 及兼容 GB10 系统的自定义 SparkRun 配方注册表，通过 sparkrun registry add 注册后可在 @mfellner/ 命名空间下使用。包含多个配方：单机原生 TTS（Fish Audio Drama 3）、单机多模态检索嵌入（Qwen3-VL-Embedding-8B）、双机 1M 上下文的 Qwen3.8 Flash Next NVFP4 和 GLM 5.3 Flash EXL3 on TensorFold 等，均带有镜像与模型快照的不可变 pin、依赖与授权说明以及可复核的验收证据。配方多采用非特权容器、主机网络/IPC、设备访问等配置，服务默认无鉴权，需运行在受信任的私有网络中。
展开详情收起详情：sparkrun-recipes：面向 NVIDIA DGX Spark 的 SparkRun 推理配方注册表⌄
程序员在 DGX Spark 类 GB10 系统上部署和运行大模型推理服务：通过 sparkrun registry add 注册该配方仓库后，可用 sparkrun run 启动单机 TTS、单机多模态检索嵌入、双机 1M 上下文 Qwen3.8 Flash Next NVFP4 以及 GLM 5.3 Flash EXL3 on TensorFold 等推理配方，并参考其中的镜像与模型快照不可变 pin、依赖与授权说明以及可复核的验收证据进行部署验证。
★ 6 · 可直接使用的工具
原文发布：未知收录：2026-10-15
综合合集
ea1het/local_hybrid_ai · Local hybrid AI implementation in favor of data sovereignty
Local Hybrid AI 是一套本地优先的 AI 基础设施方案，在单台 Linux 服务器上通过八个 Docker Compose 栈，配合运行 oMLX 的 Mac mini 进行推理。项目提供 ./local-ai 命令，用于准备、启动、停止和检查各个栈，涵盖平台准备、HAProxy 的 HTTPS 入口、SearXNG 与 Firecrawl 的本地搜索、LiteLLM AI 网关、Gitea、Dockhand、带 SSH 沙箱的 Hermes 智能体以及 Open WebUI 聊天界面，强调数据主权与混合本地部署。
展开详情收起详情：Local Hybrid AI：面向数据主权的本地混合 AI 基础设施⌄
程序员在本地 Linux 服务器上部署并管理一套本地优先的 AI 基础设施，包括通过 LiteLLM 网关统一接入模型、使用 Open WebUI 聊天界面、运行带 SSH 沙箱的 Hermes 智能体，以及用 Gitea 托管代码和智能体记忆，从而在自有硬件上完成开发与 AI 辅助工作。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-04
综合合集
Osmantic/ODS · ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. Turn your PC, Mac, or Linux box into a private AI server.
ODS 是一个面向本地自托管的 AI 服务栈，通过一条安装命令把本地模型推理、Open WebUI 聊天界面、控制面板、语音、Agent 与工作流、RAG 与检索、图像生成、隐私与运维工具等预装并串联起来，无需手工组合 Ollama、Open WebUI、n8n、ComfyUI 等组件。支持 Linux、Windows（WSL2/Docker Desktop）与 macOS Apple Silicon，默认本地模式，也可选云或混合 API 模式。当前 V3 处于公开测试阶段的预发布版本。
展开详情收起详情：ODS（Osmantic 部署系统）：把个人电脑变成私有 AI 服务器的本地 AI 服务栈⌄
程序员在本地硬件上搭建私有 AI 服务栈，用于本地模型推理、聊天界面、Agent 与工作流、RAG 与检索、图像生成以及服务认证、密钥、可观测性与诊断等运维工具，避免手工组合 Ollama、Open WebUI、n8n、ComfyUI 等组件。
产品经理在本地或私有环境中使用预装的聊天界面、Agent 与工作流、RAG 与检索、图像生成等能力，用于产品探索与原型验证，且提示与数据默认留在本机。
★ 6952 · 可直接使用的工具
原文发布：未知收录：2026-10-02
综合合集
qxoticai/qxotic · AI sovereignty for the world's most trusted runtime.
Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。
展开详情收起详情：Quixotic AI：面向 JVM 的本地 AI 开源全栈⌄
程序员在 JVM 项目中集成端到端本地 AI 能力：使用 jinfer 实现对话、视觉、音频、嵌入、重排序与文本转语音推理，使用 toknroll 做纯 Java 分词，使用 gguf 与 safetensors 读写模型格式，使用 jota 编写跨 CPU/GPU 的张量代码，并使用 jam 的量化矩阵乘法加速；无需 Python、ONNX 或外部服务，可构建 GraalVM Native Image 自包含二进制。
★ 92 · 开发框架
原文发布：未知收录：2026-09-24