lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.
该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。
展开详情收起详情：strix-halo-llm：AMD Strix Halo 上的 llama.cpp Vulkan 调优与 LLM 评测工具集⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
AtomicBot-ai/Atomic-Chat · Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。
展开详情收起详情：Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎⌄
★ 1803 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
YuhuanStudio/Yunshu · Fast local LLM / VLM inference engine for Apple Silicon (MLX). OpenAI- and Anthropic-compatible, lossless speculative decoding (DFlash2 / MTP), hybrid-model prefix cache with RAM/SSD tiers, native Claude Code / Codex / opencode support. Qwen3.8-27B tuned first.
Yunshu 是一个基于 MLX、在 Apple Silicon 上本地运行的 LLM 与 VLM 推理引擎，单进程提供 OpenAI、Anthropic 和 Ollama 兼容 API。它支持无损的推测解码（DFlash2、MTP、prompt-copy drafting）、面向混合模型的前缀缓存（RAM、SSD 及可选存储层级）、结构化输出、多模态输入、Web 搜索与 MCP、编码代理（Claude Code、Codex、opencode）接入，以及包含密钥配额、主机遥测和评测的本地 Web 控制台。首个完整调优模型为 Qwen3.8-27B。
展开详情收起详情：Yunshu：面向 Apple Silicon 的本地 LLM/VLM 推理引擎⌄
★ 3 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-16
mw00/project-maya · Project Maya - run GLM-5.3-Flash (321B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.
Project Maya 是面向 GLM-5.3-Flash（321B 参数 MoE，约 18B 激活参数，上下文最高 1M tokens）的本地推理引擎与配套工具集。它把对话常用专家放在 GPU、次常用的放在内存、其余放在 NVMe SSD 上，并测量硬件自动调优，支持单卡至 16 卡、NVIDIA 与实验性 AMD/Windows。内置浏览器聊天与实时监控、图片输入、思考档位、OpenAI 与 Anthropic 兼容 API（含工具调用）以及并发请求，并提供 Maya-S/S24/M/L 等自研量化版本。
展开详情收起详情：Project Maya：在本地 GPU 上私有运行 GLM-5.3-Flash 大模型的推理引擎⌄
★ 844 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-15
mfellner/sparkrun-recipes · Custom SparkRun recipes for DGX Spark-class systems
该项目是面向 NVIDIA DGX Spark 及兼容 GB10 系统的自定义 SparkRun 配方注册表，通过 sparkrun registry add 注册后可在 @mfellner/ 命名空间下使用。包含多个配方：单机原生 TTS（Fish Audio Drama 3）、单机多模态检索嵌入（Qwen3-VL-Embedding-8B）、双机 1M 上下文的 Qwen3.8 Flash Next NVFP4 和 GLM 5.3 Flash EXL3 on TensorFold 等，均带有镜像与模型快照的不可变 pin、依赖与授权说明以及可复核的验收证据。配方多采用非特权容器、主机网络/IPC、设备访问等配置，服务默认无鉴权，需运行在受信任的私有网络中。
展开详情收起详情：sparkrun-recipes：面向 NVIDIA DGX Spark 的 SparkRun 推理配方注册表⌄
★ 6 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-15
Rxyxs/slm-industrial-gateway · Gateway SLM industrial: motor de inferencia GGUF, herramientas analiticas, guardrails y fine-tuning QLoRA
一个 OpenAI 兼容的 HTTP 网关，围绕面向工业和矿业术语做领域适配的小语言模型（SLM）构建，提供分析工具执行（DuckDB 查询、异常检测、RUL 剩余寿命计算）与安全护栏。仓库包含两条共享领域但代码路径独立的服务：一条是支持工具调用的 OpenAI 兼容聊天网关（多智能体流水线：路由、分析、校验、安全合规），另一条是工厂网关（Plant gateway），接收 MQTT / OPC UA / Modbus / REST 遥测，在 3 秒时限内输出一个经校验的动作，支持边缘到云路由、熔断、提示注入筛查与防篡改审计日志。推理路径可 air-gap 离线运行，并包含离线 QLoRA 微调与批量评测流程。
展开详情收起详情：SLM Industrial Gateway：面向工业与矿业领域的本地小模型推理网关⌄
★ 0 · 开发框架
GitHub
原文发布：未知收录：2026-10-14
Vcvzgbzz/hearth · A queue in front of your local inference server, and an optional way to lend the spare capacity to someone you trust.
hearth 是一个位于本地推理服务器前面的接入与调度层，用于解决单张 GPU 同时只能承载一个模型、多个请求争抢不同模型导致反复换权重的问题。它对外提供 OpenAI 兼容的 /v1/chat/completions 与 /v1/models 接口（含流式），客户端只需把地址指向它即可。核心能力包括带优先级、老化防饿死、按调用方限额并优先复用已加载模型的队列；可选的路由规则、控制台 /ui、调用方 API Key 与用量统计、多后端（多服务器、多显卡、局域网内其他机器、非 OpenAI 协议后端）、云端 provider 后端、模型可用性金丝雀探测，以及在可信节点之间出借/借用闲置算力。
展开详情收起详情：hearth：为本地推理服务器提供队列调度与容量共享的 OpenAI 兼容接入层⌄
★ 2 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-14
api-evangelist/simplismart · Simplismart — independent third-party profile of a public API surface, by API Evangelist. Simplismart is an AI inference and model-deployment platform that lets teams run, fine-tune, and self-host generative AI models on optimized GPU infrastructure. It offers OpenAI-compatible LLM chat inference (Llama, Qwen, Gemma, Mixtral, DeepSeek), Whisper spe
该仓库是 API Evangelist 维护的第三方公开资料档案，并非 Simplismart 官方 API 或软件。材料显示 Simplismart 是一个 AI 推理与模型部署平台，支持在优化过的 GPU 基础设施上运行、微调与自托管生成式 AI 模型，提供兼容 OpenAI 的 LLM 对话推理（Llama、Qwen、Gemma、Mixtral、DeepSeek）以及 Whisper 语音转文字等能力。仓库本身只包含文本与机器可读的 API 描述，没有可构建、发布或安装的软件。由于该档案尚处于待补充（stub）状态，关于部署条件、硬件要求、API 费用与限制等信息均未说明。
展开详情收起详情：Simplismart：面向生成式 AI 模型的推理与部署平台第三方 API 资料档案⌄
★ 0 · 资料合集
GitHub
原文发布：未知收录：2026-10-14
OpenMachine-ai/transformer-tricks · A collection of tricks and tools to speed up transformer models
Transformer Tricks 是一个围绕 Transformer 模型效率优化的技巧与工具集合，通过移除架构中的冗余组件来提升模型效率。项目包含 slim attention（从 MHA 模型的上下文内存中去除整个 V-cache）、FlashNorm（将 RMSNorm 的权重折叠进后续线性层）、MatShrink（进行中）、第一层预计算、以及为 skipless transformer 仅保留 KV 权重等技巧，并附带论文、讲解视频、Colab notebook 与 Python 包。项目提供 pip 安装的 transformer-tricks 包，以及将基于 RMSNorm 的 HuggingFace 检查点转换为 FlashNorm 变体并发布到 HuggingFace 的转换脚本。
展开详情收起详情：Transformer Tricks：简化并加速 Transformer 模型的技巧与工具集⌄
★ 233 · 开发框架
GitHub
原文发布：未知收录：2026-10-13
opod-io/opod-core · Self-hosted AI gateway for the GPUs you already own: one OpenAI-compatible endpoint across many machines. Engine-agnostic (Ollama, vLLM, SGLang, llama.cpp, MLX-LM), load-aware routing, one model sharded across nodes, API keys, Prometheus + OpenTelemetry. Go, Apache-2.0, no telemetry.
Opod 是一个用 Go 编写的自托管 AI 推理网关，将多台自有机器上的开源权重模型聚合为单一的 OpenAI 兼容端点（/v1/chat/completions 与 /v1/embeddings）。它不绑定推理引擎，可对接 Ollama、vLLM、SGLang、MLX-LM、llama.cpp，提供负载感知路由、跨节点分片大模型、API Key 与 join token、Prometheus 与 OpenTelemetry 观测能力，核心无厂商外发流量，仅以 CLI 和 HTTP API 形式提供，无内置 UI。
展开详情收起详情：Opod：为自有 GPU 提供统一 OpenAI 兼容端点的自托管 AI 网关⌄
★ 2 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-13
magnusfroste/garageai · A marketplace for local AI inference in Europe: garage owners offer GPUs they already own, buyers call them through one OpenAI-compatible API, and owners get paid per token. NetBird mesh + LiteLLM gateway in the EU.
GarageAI 是一个本地 AI 推理交易市场：拥有 GPU 的车库主通过 GarageAI Bridge 在用户态建立 WireGuard 隧道把算力接入网关，买家通过位于欧盟 VPS 上的 LiteLLM 网关获得 OpenAI 兼容 API，按 token 预付费调用；请求经 NetBird 网状网络（UDP 被阻断时的回退方案）路由到各家车库，支持模型 Pool 与指定车库两种购买方式，并具备自动故障转移与按 key/模型计费能力。项目强调本地化与欧洲数据主权，车库不暴露于公网，无需开放入站端口。
展开详情收起详情：GarageAI：面向欧洲的本地 GPU 推理交易市场，通过统一 OpenAI 兼容 API 调用⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-13
zacharydenton/clef-hrx · Cloudflare CLEF structured decisions from text, images and video on AMD Strix Halo. Rust, HRX and Loom.
该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。
展开详情收起详情：clef-hrx：在 AMD Strix Halo 上用 Rust 运行 Cloudflare CLEF 多模态结构化决策推理⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-12
FuturixAI-and-Quantum-Works/carve-jev · Open-source Jev-like model family with one-token Qwen3.8 decisions, TypeSafe API, one-command setup, and reproducible benchmarks.
CARVE（Candidate-Aligned Readout via Vocabulary Evidence）是一个 Apache-2.0 开源模型家族，基于 Qwen3.8-27B，通过只对用户自定义选项对应的候选字母 token 进行打分，实现单输出 token 的 Noul、Choice、Score 类型化决策，无需生成自由文本 JSON 再解析。项目提供 TypeSafe 兼容的 System One API、一键启动脚本和可复现基准，发布 CARVE-ZS、CARVE-AS、CARVE-FS2 等多个服务配置，在 Decision 1.0 transfer-v9 上报告 82.22% 的最高准确率。README 说明其返回的为原始受限候选 token 概率，并非校准后的正确性置信度。
展开详情收起详情：CARVE：基于 Qwen3.8 的 Jev 式单 token 结构化决策推理模型家族⌄
★ 10 · 开发框架
GitHub
原文发布：未知收录：2026-10-12
quickhoteloccupancy5342/vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring · Serve Qwen3.8-Flash-Next on one RTX PRO 6000 with vLLM, a sharp chat template, and bundled Prometheus+Grafana monitoring.
该仓库提供一套基于 Docker 的打包方案，用于在 NVIDIA RTX PRO 6000 Blackwell 显卡上通过 vLLM 运行 Qwen3.8-Flash-Next 语言模型，包含 Qwen-Sharp 对话模板、MTP-3 推测解码、工具调用支持，以及 Prometheus 与 Grafana 组成的实时监控面板。README 说明面向 Windows 10/11 用户提供 start.bat 启动脚本，本地推理不上传对话数据，并在首次运行时下载约 40GB 模型文件。
展开详情收起详情：vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring：在 RTX PRO 6000 上通过 vLLM 部署 Qwen 模型并附带监控面板⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-12
yzfly/edgejev · 离线可用的本地类型化决策：4 核 CPU 单题 15.6ms。Local & offline Jev / System One inference on CPU — ONNX + INT8, no torch at runtime. 支持 laya / kev / PlayJev
EdgeJev 把 laya、kev、NanoJev、PlayJev 等开源 Jev / System One 复现项目统一为「转换 → 量化 → 部署」的流程：导出 ONNX、做 INT8 量化，并起一个与官方 /v1/systemone 协议兼容的本地服务。它以 ONNX Runtime 在 CPU 上做离线推理，运行时只依赖 onnxruntime、tokenizers、numpy，不需要 torch、API key 或联网，数据不出本机；同时提供 build / serve / eval / bench / info 等 CLI 子命令和训练模块。
展开详情收起详情：EdgeJev：在普通 CPU 上离线运行的本地类型化决策推理服务⌄
★ 21 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-12
natee6684/qwen3.8-27b-in-c · Run 27B-parameter Qwen3.8 locally on a laptop CPU with native C inference, no GPU or Python, at 2.52 token/s.
该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型，无需 GPU 和 Python，README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行，并提供兼容 OpenAI API 的本地服务接口，方便其他工具接入本地模型。
展开详情收起详情：qwen3.8-27b-in-c：在笔记本 CPU 上用纯 C 本地运行 Qwen3.8-27B 模型⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-12
liveryalpineanemone2431/DeepSeek-v4-Flash-One-DGX-Spark · Run DeepSeek V4 Flash 0731 with EXL3 and DSpark speculative decoding on a single NVIDIA DGX Spark (GB10, 128GB).
该项目面向单台 NVIDIA DGX Spark（GB10，128GB）平台，提供运行 DeepSeek V4 Flash 0731 的打包方案，结合 EXL3 量化与 DSpark 投机解码以提升本地推理性能。仓库 README 主要以 Windows 下 exe 安装向导形式介绍下载、安装、首次配置与聊天使用流程，并声明安装后全部本地运行、无需联网。需要说明的是，README 中的硬件要求（Windows 10/11、16GB 内存、50GB 磁盘）与仓库元数据描述的 DGX Spark（GB10）定位存在不一致，实际部署条件、依赖与限制以官方仓库为准。
展开详情收起详情：DeepSeek-v4-Flash-One-DGX-Spark：在单台 NVIDIA DGX Spark 上本地运行 DeepSeek V4 Flash 的部署方案⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-12
Amitga5978/mainarch · Run LLM inference directly on AMD GPUs by bypassing ROCm for low-latency serving.
mainarch 是一个用 Rust 从零编写的程序，让计算机直接与 AMD GPU 硬件通信，绕过 ROCm、HIP、HSA 等中间软件层，用于低延迟的 LLM 推理服务。项目针对 AMD CDNA 架构（MI355X）优化，目前支持 OLMo 2 语言模型，可在本地完成对话、文本生成、翻译、摘要等任务，数据不出本机。README 声称可降低延迟、提升内存效率，但未给出具体基准数据。
展开详情收起详情：mainarch：绕过 ROCm 在 AMD GPU 上直接运行 LLM 推理⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-12
huntleeouter514/laya-mlx · Run open-weight typed decisions natively on Apple Silicon with sub-14ms local MLX inference, no PyTorch or cloud APIs.
laya-mlx 是一个面向 Apple Silicon Mac 的本地决策推理软件，用于在设备端运行「类型化决策模型」（.laya 文件），据称单次决策耗时约 7–14 毫秒，无需 PyTorch 等重型依赖，也不依赖云端 API，强调数据不出本地的隐私性。其技术组合包括针对 Apple Silicon 优化的 MLX 运行时、ModernBERT 模型与纯本地计算。README 给出下载即用的入门流程和 Apple Silicon 系统要求。
展开详情收起详情：laya-mlx：在 Apple Silicon 上本地运行类型化决策模型的推理引擎⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-12
meteorologicalballoonfronttooth549/tsfm · Provide on-device Apple Foundation Models inference in TypeScript with streaming, structured output, and chat-style APIs for secure, local AI processing.
tsfm 是一个基于 TypeScript 和 Node.js 的工具库，用于在 macOS 26 及以上系统中访问 Apple 的端侧 Foundation Models，实现本地 AI 推理。它支持流式输出、结构化输出与聊天式 API，数据保留在设备本地以保护隐私，可用于构建虚拟助手、语言翻译、文本摘要和定制 AI 工作流等场景。
展开详情收起详情：tsfm：在 macOS 上通过 TypeScript 调用 Apple 端侧基础模型⌄
★ 2 · 开发框架
GitHub
原文发布：未知收录：2026-10-11