OMP NInfer：在单张 RTX 3090/4090/5090 上运行可断点续接的本地 Qwen3.8 27B 编程会话

alphastorm/omp-ninfer · Durable local inference for Oh My Pi: NInfer + Qwen3.8 27B on one RTX 3090/4090/5090, with restart-resumable OpenAI Responses state.

GitHub原文发布未知首次收录 2026-10-02上架 2026-10-05 09:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

OMP NInfer 将 Oh My Pi（OMP）编程智能体、Neroued 的 NInfer 推理引擎与固定的 Qwen3.8 27B 模型打包成经过资格验证的组合，目标是让本地长程编程会话的状态（会话状态与所需 KV）可被显式检查点保存，并在推理服务重启后恢复续接。项目通过有状态的 OpenAI Responses（previous_response_id、分支与回滚）实现显式、事务化的续接，而非依赖隐式最长前缀匹配；端点仅绑定回环地址、要求 bearer 认证、失败即关闭而不回退到云端；模型、镜像、客户端均由摘要固定并由发布清单绑定。v0.9.1 明确限定在单张 RTX 3090、RTX 4090 或 RTX 5090 上，并附有解码吞吐、长上下文检索等自测数据。

# Qwen # self-hosted # local-llm # persistent-kv-cache # openai-responses-api

核心能力与快速开始

★ 41 · Python

能做什么: 把 OMP 编程智能体、NInfer 推理引擎与固定 Qwen3.8 27B 模型集成为经资格验证的发行组合，提供：将续接状态（会话状态加所需 KV）作为显式、事务化、可持久化的原语写入磁盘并在进程结束后恢复；以 OpenAI Responses 的 previous_response_id 驱动有状态续接，支持分支派生与回滚；检查点可经同步工具导出到另一台主机或 NAS 并再导入本地用于恢复；回环地址绑定、bearer 认证、禁用模型回退的失败即关闭路由；用 SHA-256、OCI 摘要与 SPDX SBOM 固定模型、运行时镜像与客户端，并由发布清单统一绑定，可用 verify_release.py 校验克隆是否为合格发行版。文档还列出了各受支持显卡上的解码、预填充与长上下文检索测量值，以及 RTX 3090 上单请求串行、300 W 功耗上限等运行时约束。
适用场景: 适用于使用 OMP 编程智能体、拥有受支持 NVIDIA 显卡（RTX 3090/4090/5090）、希望用本地 Qwen3.8 27B 处理长程编程会话（约 10 万 token 级转录、含思考与工具调用）并关心数据不出本机与失败不回退云端的场景；也适用于需要在推理服务重启或进程结束后继续既有会话、或在多台主机/NAS 间搬运已验证检查点的场景。文档明确指出：若只需要宽泛的模型目录、使用不受支持的 GPU、多用户服务或通用 OpenAI 兼容推理，则应选择其他方案。
项目形态: 可直接使用的工具
部署方式: 本地部署，限定单张 NVIDIA RTX 5090（文档给出 Windows 11 + Docker Desktop/WSL2 路线）、RTX 4090（Windows 11 原生路线）或 RTX 3090（Windows 11 原生路线，使用上游 OMP 18.4.0）；需使用发布清单中固定版本的客户端、运行时、模型与 profile，其他部署方式不在支持范围内。具体内存、磁盘与下载前置条件需查看快速开始指南；未说明 API 成本信息。
主要依赖: 需使用受支持的 NVIDIA 显卡之一（RTX 5090 / RTX 4090 / RTX 3090）及文档描述的对应操作系统与运行时路线；须采用清单中固定版本的客户端、运行时、模型和 profile；RTX 3090 路线需在 OMP 的 provider 限制中加入 ninfer-native-3090: 1。文档提到指南中含内存、磁盘与下载前置条件，未给出统一的最低硬件或系统要求。
使用限制: 发行版不支持文档未列出的其他部署、不受支持的 GPU、多用户服务或通用 OpenAI 兼容推理用途；RTX 3090 原生通道一次仅服务一个请求、待处理超时 30 秒、无主机内存下限声明（资格验证仅在一台主机上进行），且原生通道仅支持文本与工具，视觉功能仅在 RTX 5090 上；检查点恢复要求相同的运行时二进制、模型、profile 与会话凭据，跨卡（如把 5090 会话复制到 4090）不可运行；网络共享只能作为副本存储，不能作为实时检查点根目录；文档中列出的性能数字多为历史版本的单机、单样本测量，作者声明不构成重启加速比或亚秒级重启的证据；项目未说明 API 成本，未声明使用限制与商用条款（许可证为 MIT）。
许可证: MIT
最近推送: 2026-10-02 05:55

核对 README 依据 ↗

资料检查：2026-10-02 07:00 · 卡片整理：2026-10-05 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在单张 RTX 3090/4090/5090 上本地运行 OMP 编程智能体与 Qwen3.8 27B，用于长程编程会话：修复代码缺陷、运行测试、处理工具调用，并在推理服务重启后从显式检查点恢复会话状态继续编码。

查看内容依据

OMP NInfer 将 Oh My Pi（OMP）编程智能体、Neroued 的 NInfer 推理引擎与固定的 Qwen3.8 27B 模型打包成经过资格验证的组合，目标是让本地长程编程会话的状态（会话状态与所需 KV）可被显式检查点保存，并在推理服务重启后恢复续接。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

qwen3.8-27b-in-c：在笔记本 CPU 上用纯 C 本地运行 Qwen3.8-27B 模型

该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型，无需 GPU 和 Python，README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行，并提供兼容 OpenAI API 的本地服务接口，方便其他工具接入本地模型。

Chiezo：为 AI 提供知识库、记忆与工具调用的自托管服务器

Chiezo 是一个自托管的 AI 资源服务器，把知识、记忆、可对话的 AI、密钥、算力和工具集中在一处对外「出借」。它把 Wikipedia、OpenStreetMap、GeoNames、Overture 等公开数据以及可写入的 notes 记忆索引到按来源独立的 SQLite（FTS5）文件中，通过 MCP（/mcp）和 REST（/v1/...）两种接口供 Claude Code 等 AI 客户端和应用检索；同时可代理保管 API 密钥、转发推理请求、生成图片/音频/视频/语音与文稿，并可选用本地 LLM 做 RAG 或 agent 模式问答。项目本身不做推理，只负责托管调用方无法自持的通用能力。

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

TUFF：面向 Apple Silicon Mac 的本地大模型推理应用

TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。