gittensor-ai-lab/sparkinfer · Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.
SparkInfer 是一个用 C++/CUDA 编写的原生 MoE/LLM 解码推理运行时，面向消费级与边缘 Blackwell GPU（sm_120，从 RTX 到 PRO 6000），不含 Python 栈，二进制约 2.5 MB。它提供 OpenAI 兼容端点，支持文本、图像、视频输入以及 Anthropic、Ollama、LM Studio 等 API 风格，默认启用推测解码（含 DFlash2 草稿模型），并针对 Qwen3.8-27B 等模型做 NVFP4 量化与 Blackwell 原生算子优化。README 中给出了相对 llama.cpp 与 vLLM 的解码、预填充和吞吐对比数据，以及 Gittensor 上的持续优化机制。
展开详情收起详情：SparkInfer：面向 Blackwell GPU 的 MoE/LLM 推理运行时⌄
★ 90 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-08
yeixio/toskar-core · Run local AI across all your computers: one OpenAI-compatible API, automatic model placement, nothing leaves your machines.
Toskar Core 是一个用 Go 编写的开源本地 AI 控制平面，目标是让在自有硬件上运行 AI 像使用托管服务一样简单。它自动检测 CPU、内存、存储和 GPU 等硬件，推荐并管理 GGUF 模型，启动 llama.cpp 运行时，并在多台配对的电脑之间发现节点、分配工作负载，同时对外暴露统一的 OpenAI 兼容 API。项目还包含本地 Web UI、持久记忆、连接知识库、工具与 MCP、定时自动化、模型性能诊断以及 LoRA 微调训练等功能。
展开详情收起详情：Toskar Core：为自有硬件提供 OpenAI 兼容 API 的本地 AI 控制平面⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-07
rwilliamspbg-ops/Ghostlink · Distributed LLM inference fabric for heterogeneous local clusters. Features zero-copy SPSC ring buffers, automated tuning, and an OpenAI-compatible API.
Ghostlink 是一个用 Rust 编写的分布式推理织构，面向由 CPU、GPU、NPU 混合组成的本地局域网集群。它通过 llama.cpp 的 ggml-rpc 后端拆分 GGUF 模型权重，自动发现局域网节点并按硬件能力放置负载，对外提供 OpenAI 兼容的 /v1/chat/completions API 服务；同时包含硬件探测、自动调优以及 SPSC 环形缓冲区、TCP/UDS 传输、AF_XDP 内核旁路等研究性组件（实验性质，其基准数值只反映传输分帧延迟而非 LLM 生成速度）。
展开详情收起详情：Ghostlink：面向异构本地集群的分布式 LLM 推理织构⌄
★ 50 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-05
wisent-ai/brama
Brama 是 Wisent 提供的统一模型访问网关，通过一个 OpenAI 兼容 API 与统一身份接入多个模型提供商与订阅。它支持逻辑别名与 best/fast/cheap 等启发式路由、agent 级订阅选择器（any、any-vision-capable、task:<task-name>）、SSE 流式输出、OAuth 订阅凭据刷新、final-use 密钥兑换（Skarbiec 能力插座或桌面内存凭据映射）以及按 token 归属的审计日志。适用于桌面私有网关、Wisent 服务开发者、Jeden 运行时与运维人员的权限最小化与可审计路由场景。
展开详情收起详情：Brama：用统一端点聚合所有模型与提供商的 LLM 网关⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-05
dcazrael/llama-model-manager · Personal Linux CLI for managing explicit llama.cpp model presets, downloading and staging GGUF models from Hugging Face, launching llama-server, and running reproducible benchmarks.
llama-model-manager 是一个面向 Linux 的个人命令行工具，用于管理明确的 llama.cpp 模型预设、从 Hugging Face 下载并暂存 GGUF 模型、启动 llama-server，并运行可复现的基准测试。项目结构精简，包含一个 CLI 入口、若干无依赖的支持模块、一个安装/更新脚本，以及仓库外用户自有的配置文件。
展开详情收起详情：llama-model-manager：管理 llama.cpp 模型预设与基准测试的 Linux CLI⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-04
ea1het/local_hybrid_ai · Local hybrid AI implementation in favor of data sovereignty
Local Hybrid AI 是一套本地优先的 AI 基础设施方案，在单台 Linux 服务器上通过八个 Docker Compose 栈，配合运行 oMLX 的 Mac mini 进行推理。项目提供 ./local-ai 命令，用于准备、启动、停止和检查各个栈，涵盖平台准备、HAProxy 的 HTTPS 入口、SearXNG 与 Firecrawl 的本地搜索、LiteLLM AI 网关、Gitea、Dockhand、带 SSH 沙箱的 Hermes 智能体以及 Open WebUI 聊天界面，强调数据主权与混合本地部署。
展开详情收起详情：Local Hybrid AI：面向数据主权的本地混合 AI 基础设施⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-04
alphastorm/omp-ninfer · Durable local inference for Oh My Pi: NInfer + Qwen3.8 27B on one RTX 3090/4090/5090, with restart-resumable OpenAI Responses state.
OMP NInfer 将 Oh My Pi（OMP）编程智能体、Neroued 的 NInfer 推理引擎与固定的 Qwen3.8 27B 模型打包成经过资格验证的组合，目标是让本地长程编程会话的状态（会话状态与所需 KV）可被显式检查点保存，并在推理服务重启后恢复续接。项目通过有状态的 OpenAI Responses（previous_response_id、分支与回滚）实现显式、事务化的续接，而非依赖隐式最长前缀匹配；端点仅绑定回环地址、要求 bearer 认证、失败即关闭而不回退到云端；模型、镜像、客户端均由摘要固定并由发布清单绑定。v0.9.1 明确限定在单张 RTX 3090、RTX 4090 或 RTX 5090 上，并附有解码吞吐、长上下文检索等自测数据。
展开详情收起详情：OMP NInfer：在单张 RTX 3090/4090/5090 上运行可断点续接的本地 Qwen3.8 27B 编程会话⌄
★ 41 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-02
Osmantic/ODS · ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. Turn your PC, Mac, or Linux box into a private AI server.
ODS 是一个面向本地自托管的 AI 服务栈，通过一条安装命令把本地模型推理、Open WebUI 聊天界面、控制面板、语音、Agent 与工作流、RAG 与检索、图像生成、隐私与运维工具等预装并串联起来，无需手工组合 Ollama、Open WebUI、n8n、ComfyUI 等组件。支持 Linux、Windows（WSL2/Docker Desktop）与 macOS Apple Silicon，默认本地模式，也可选云或混合 API 模式。当前 V3 处于公开测试阶段的预发布版本。
展开详情收起详情：ODS（Osmantic 部署系统）：把个人电脑变成私有 AI 服务器的本地 AI 服务栈⌄
★ 6952 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-02
featherless-ai/simple-jev · Turn any open model into a classifier/jev endpoint
Simple Jev 让兼容的开源模型（如 Hugging Face 上的 Qwen、Gemma、Laya 系列）无需额外训练分类头即可用于结构化分类与评分。请求包含共享上下文（state 或 messages）和若干问题，服务端读取模型在候选标签上的 next-token logits，自行构造 JSON 响应，返回 choice（多选一）、score（量表打分）和 noul（真值/支持度判断）三类结果，输出不依赖模型生成文本。项目包含基于 Hugging Face Transformers 与 PyTorch 的本地服务、供其他推理实现复用的 Python common 规则模块、以及带 JevBench 打分、文本/决策与视觉套件、提示格式搜索的评测框架。
展开详情收起详情：Simple Jev：把开放模型变成结构化分类与评分端点⌄
★ 575 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-01
iyulab/iron-prow · Safe-inference gateway for .NET — provider selection (frontier/LAN), guardrails, and resilience, delivered as a standard Microsoft.Extensions.AI IChatClient.
iron-prow 是一个面向 .NET 的安全推理网关，以标准 Microsoft.Extensions.AI IChatClient 形式提供。它负责在多个 LLM provider（frontier 与局域网本地部署）之间进行选择与优先级排序，支持失败重试、fallback 与 provider 健康记忆（cooldown 后降级），并通过 FluxGuard 提供输入输出 guardrail（默认 fail-closed）。同时包含 IronProw.LMSupply 本地推理安全包装（readiness gate、model-ID preflight、输出长度限制、reasoning 控制），还支持多租户 per-tenant provider 解析与重复退化输出停止等可选能力。
展开详情收起详情：iron-prow：面向 .NET 的 LLM 安全推理网关，统一 provider 选择、防护与容错⌄
★ 0 · 开发框架
GitHub
原文发布：未知收录：2026-09-30
conferencebeefwood46/mlx-lean-moe · Run memory-lean mixture-of-experts inference on Apple Silicon, streaming routed experts from disk to fit 35B models in 2.1 GiB RAM.
mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。
展开详情收起详情：mlx-lean-moe：在 Apple Silicon 上以低内存流式运行 MoE 大模型推理⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-28
konstanzegreater7629/4xV100-qwen38-flash-next-abliterated-128gb-vram · Run Qwen3.8-Flash-Next-ABLITERATED in NVFP4 on 4×V100-32GB: 262K context, 46 tok/s decode, OpenAI-compatible, agent-ready.
该仓库聚焦于在 4×V100-32GB（合计 128GB 显存）上以 NVFP4 精度运行 Qwen3.8-Flash-Next-ABLITERATED，README 描述中提到支持 262K 上下文、约 46 tok/s 解码速度、OpenAI 兼容接口，并面向 agent 使用场景。相关主题标签涉及 vLLM、NVFP4、SM70、张量并行、投机解码与 Tesla V100。除 README 摘录外，部署步骤、软硬件要求与许可信息未提供，无法确认安装与验证情况。
展开详情收起详情：4xV100-qwen38-flash-next-abliterated-128gb-vram：在 4 张 V100 上以 NVFP4 运行 Qwen3.8-Flash-Next-ABLITERATED 的推理配置⌄
★ 0 · 资料合集
GitHub
原文发布：未知收录：2026-09-28
Root1V/prometheus-inference-platform · Production-grade self-hosted LLM inference platform — FastAPI gateway with JWT auth, fine-grained per-model authorization scopes, rate limiting & circuit breakers; multi-backend model manager (llama.cpp/MLX/vLLM/SGLang) across distributed hosts; React admin dashboard; full OTel tracing. Podman-native, 100% self-hosted — no vendor lock-in.
Prometheus 是一个自托管的小型语言模型（SLM）推理平台，以 FastAPI 网关作为唯一受控入口，提供 JWT 认证、基于角色的时效令牌、按模型的细粒度授权范围（model:<id>）、限流与熔断，并支持跨主机的多后端模型管理（llama.cpp / MLX / vLLM / SGLang）。网关以 OpenAI Chat Completions 兼容格式暴露 /v1/chat/completions 与 /v1/models 接口，配合 React 管理后台与 OpenTelemetry 全链路追踪，采用 Podman 原生方式部署，强调数据不出内网、无厂商锁定。
展开详情收起详情：Prometheus：自托管 LLM 推理平台与安全 API 网关⌄
★ 1 · 开发框架
GitHub
原文发布：未知收录：2026-09-28
blairq/genesis-vllm-patches · Runtime patches for vLLM 0.29.0: a 27B hybrid-GDN model at 256K context on 2x RTX 3090 — integer attention kernels, W4A8 Marlin, DFlash2 speculative decoding.
该项目是 vLLM 0.29.0 的个人运行时补丁分支，核心思路是在没有 fp8 张量核心的 Ampere（sm_86）硬件上把 int8 作为贯穿各阶段的「计算」格式。补丁覆盖 W4A8 Marlin GEMM、int8 per-token-head KV cache、手写 PTX 整数注意力解码内核、int8 TP all-reduce 以及 int4 lm_head 等，目标是让张量从 RMSNorm 到注意力全程不离开整数域。仓库基于特定机器（2× RTX 3090、TP=2、一个特定量化检查点）调优，附带大量实测对比数据与未解决问题记录，处于活跃开发状态，并非成品。
展开详情收起详情：Genesis vLLM Patches：面向 Ampere GPU 的 int8 端到端推理补丁集⌄
★ 1 · 研究实现
GitHub
原文发布：未知收录：2026-09-27
ashhart/TensorFold · Fast, exact LLM decoding on Apple Silicon (MLX) behind an OpenAI-compatible endpoint
TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。
展开详情收起详情：TensorFold：在 Apple Silicon 与 NVIDIA GPU 上提供精确 LLM 解码的 OpenAI 兼容端点⌄
★ 190 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-27
notagentdev/maxtoken · Serve MoE models bigger than your memory on Apple silicon. MLX engine with elastic SSD-backed expert offload, native MTP speculative decoding, OpenAI/Anthropic-compatible APIs and a built-in web console.
MaxToken 是 FlashML FreeToken 的独立分支，把面向边缘的 MoE 推理引擎改造成 Apple silicon 优先的运行时，目标是“用最少内存产出最多 token”。它基于 MLX 执行，只保留稠密核心常驻内存，把路由专家放到由 SSD 直接读取驱动的弹性、硬预算槽位缓存中；当模型可容纳时则使用零拷贝内存映射存储以常驻内核速度运行。项目提供 OpenAI 与 Anthropic 兼容 API（Claude Code、Codex 可直接对接）以及内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），并支持原生 MTP 投机解码与草稿模型投机解码。仅在 Apple silicon（macOS、Metal）上运行，0.0.1 起移除了上游 CUDA 引擎。
展开详情收起详情：MaxToken：在 Apple silicon 上以有限内存服务大型 MoE 模型⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-26
nhvang/kubeflow-python-orchestrator · Kubeflow Python SDK 2026: Run AI Workloads on Kubernetes Seamlessly
KubeMind SDK 自称是面向 Kubernetes 上 AI 工作负载的“认知结构”Python SDK，提供语义化流水线构建、预测式自动扩缩、基于概率依赖图的自愈能力、PyTorch/TensorFlow/JAX/ONNX 多框架运行时统一封装、因果时间线可观测性、Web 仪表盘、多语言错误提示与零信任安全壳等功能，并提供 gRPC/GraphQL/WebSocket 桥接以便非 Python 服务接入。README 中的性能数字与预测准确率均属其自述基准，未提供可核验材料。
展开详情收起详情：KubeMind SDK：在 Kubernetes 上编排、推理与自愈 AI 工作负载的 Python SDK⌄
★ 0 · 开发框架
GitHub
原文发布：未知收录：2026-09-26
ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.
cpu-slm 是一个基于 Rust 的 SLM/LLM 项目，目标是在 CPU 上完成高效推理与聊天交互，并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能，支持 Windows、Linux 和 macOS，附带入门安装步骤与学习资料，定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。
展开详情收起详情：cpu-slm：在 CPU 上运行的 Rust 大语言模型推理与对话工具⌄
★ 2 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-26
snailium/llama.cpp-sycl-intel-b70 · Community-maintained llama.cpp SYCL Docker optimized for Intel Arc Pro B70 (Battlemage). Latest oneAPI/compute-runtime/IGC, B70-specific AOT build, all features enabled (Flash Attention, MTP, reorder kernels, no GGML_SYCL_DISABLE_OPT).
该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。
展开详情收起详情：llama.cpp-sycl-intel-b70：面向 Intel Arc Pro B70 的 llama.cpp SYCL Docker 镜像与调优指南⌄
★ 4 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-25
nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy
llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。
展开详情收起详情：llamaMan：在 Docker 中启动、监控与集群管理多个 llama.cpp 实例的浏览器界面⌄
★ 14 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-25