工具
RafaGonzalezDev/local-inference-setup · Declarative configuration for self-contained launchers of local language models. Includes download manifests, validation scripts, documentation, and .cmd launchers with all inference parameters materialized.
该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。
展开详情收起详情：local-inference-setup：本地语言模型自包含启动器的声明式配置⌄
程序员在 Windows 本地搭建并启动语言模型推理服务，通过 OpenAI 兼容 API 与 Web 界面供编码或 agentic 客户端调用；仓库提供模型下载、完整性校验和启动器配置，便于程序员在本地运行模型进行开发与测试。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-29
工具
ggml-org/llama.cpp · LLM inference in C/C++
llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。
展开详情收起详情：llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎⌄
程序员在本地或云端多种硬件上运行 LLM/VLM 推理，使用 llama cli 命令行工具进行模型推理，或通过 llama serve 启动兼容 OpenAI 接口的 API 服务供应用调用；支持整数量化与 CPU+GPU 混合推理以降低内存占用。
★ 132561 · 可直接使用的工具
原文发布：未知收录：2026-10-28
工具
rmedipallycic/llm-inference-fault-tolerance · Fault-injection study of vLLM and SGLang: what a streaming client sees when an LLM server crashes mid-generation. 430 measured trials on Llama 3.1 8B (AWS A10G): naive retry contradicted already-delivered text; deterministic modes plus recompute recovered exactly. Paper, raw logs and table scripts included.
该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。
展开详情收起详情：llm-inference-fault-tolerance：测量 LLM 流式推理服务崩溃时客户端所见的令牌异常⌄
程序员用于测试和排错 LLM 流式推理服务的容错行为：通过故障注入工具在指定流式分块位置杀死 vLLM 或 SGLang 工作进程，记录客户端完整令牌流，并比较朴素重试、重算、固定间隔 KV 检查点等恢复策略下客户端可见的重复、缺失或偏离令牌异常；仓库还提供精确一次令牌网关及其测试。
★ 0 · 研究实现
原文发布：未知收录：2026-10-24
工具
hanxiao/Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000 · Abliterated Qwen3.8-27B in AWQ-INT4 with SGLang and an FP8 DFlash 2 drafter on half an NVIDIA RTX PRO 6000: 124 tok/s, 237k context, 2 slots, vision
该仓库记录了一套针对 abliterated Qwen3.8-27B 模型的生产推理部署方案：采用 AWQ-INT4 量化权重，结合 SGLang v0.5.22（含五个补丁）与 FP8 的 DFlash 2 投机解码草稿器，运行在 NVIDIA RTX PRO 6000 的半卡 MIG 分区上，并通过 Cloud Run 提供服务。README 给出了量化流程、显存与 KV 池配置、单流/四流与长上下文下的解码和预填充基准、投机解码与验证优化、并发槽位设置的实测数据，以及视觉输入、工具调用方面的能力说明和结构化输出不支持等限制。部署包含约 14 分钟冷启动和一次耗时约 75 分钟的量化步骤，性能数据均在 Cloud Run 环境下测得。
展开详情收起详情：Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000：在单张半卡 RTX PRO 6000 上部署量化 Qwen3.8-27B 推理服务⌄
程序员作为自托管大模型推理服务，为编程工作负载提供代码生成与补全能力；仓库基准显示代码场景解码速度达 193.4 tok/s，并支持工具调用参数流式输出，可用于构建代码助手或 Agent 后端。
★ 5 · 可直接使用的工具
原文发布：未知收录：2026-10-24
工具
ai-runway/airunway · ✈️ Kubernetes-native platform for deploying and managing AI inference across multiple providers
AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。
展开详情收起详情：AI Runway：在 Kubernetes 上部署与管理大模型推理的多提供商平台⌄
程序员在 Kubernetes 上部署和管理大语言模型推理服务：通过 Web UI 或统一的 ModelDeployment CRD 选择 HuggingFace 模型并一键部署，支持 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，并查看实时状态、日志和 Prometheus 指标，用于搭建和运维 AI 推理基础设施。
★ 102 · 可直接使用的工具
原文发布：未知收录：2026-10-22
工具
defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.
LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。
展开详情收起详情：LLMKube：面向自托管 LLM 推理的 Kubernetes operator⌄
程序员在自有 Kubernetes 集群上自托管 LLM 推理，并通过 OpenAI 兼容端点接入编码工具；Foreman 附加组件可在自有集群上编排编码智能体工作负载，执行修复 issue、运行 make fmt vet lint test 验证和审查 diff 的流水线。
★ 241 · 开发框架
原文发布：未知收录：2026-10-22
工具
deepseek-ai/DeepEP · DeepEP: an efficient expert-parallel communication library
DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。
展开详情收起详情：DeepEP：面向 MoE 训练与推理的高性能专家并行通信库⌄
程序员在开发或调优 MoE 大模型训练与推理系统时，使用该库提供的 EP all-to-all GPU kernel、FP8 dispatch 以及 dispatch/combine 接口实现专家并行通信，并可通过 deferred epilogue 与计算重叠；也可使用实验性的 BucketBuffer 进行 CP/DP 的 all-gather、reduce-scatter、all-reduce。
★ 10324 · 开发框架
原文发布：未知收录：2026-10-22
工具
deepseek-ai/DeepInfer · DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。
展开详情收起详情：DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架⌄
程序员程序员可将 DeepInfer 作为 DeepSeek-V4.1-Flash 模型的离线推理框架，在本地运行示例脚本进行模型推理；还可通过 SamplingParams 传入正则、JSON schema 或 EBNF 语法来约束生成结果，用于需要结构化输出的开发场景。
★ 17744 · 开发框架
原文发布：未知收录：2026-10-22
工具
yepapa-nest/eke-hive · Engine for two MoE models only - DeepSeek-V4.1-Flash (main) and GLM-5.3-Flash - on one 96 GB GPU, experts offloaded to CPU RAM, 262K context. Pieced together from what we had (DDR4, PCIe 4); DDR5 would do better. Sleeps/wakes in seconds to share the GPU. OpenAI/Anthropic API, works behind LiteLLM.
Eke Hive 是一个从零编写的推理引擎，支持 Qwen3.8-27B、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 四个模型。它通过把部分专家权重和计算放到 CPU 与 RAM 上，让模型在显存不足时仍能在单张 GPU 上运行；用户可以用 HIVE_VRAM_GB 设定显存预算（如 96/72/48/32 GB），从而让一块 GPU 同时服务多个模型。项目支持 262K 上下文、OpenAI/Anthropic 兼容 API 与 LiteLLM，并具备秒级的睡眠/唤醒机制，便于与其他任务分时共享 GPU。README 中的性能数据来自作者指定的单一硬件环境，并包含配套的基准测试方法。
展开详情收起详情：Eke Hive：面向 DeepSeek/GLM/Qwen 系列的单卡混合 CPU+GPU 推理引擎⌄
程序员在单张 GPU 上本地部署并运行 DeepSeek-V4.1-Flash、GLM-5.3-Flash、Qwen3.8-Flash-Next、Qwen3.8-27B 等模型，通过 OpenAI/Anthropic 兼容 API 与 LiteLLM 接入，用于代码生成、代码审查、排错等开发工作；可用 HIVE_VRAM_GB 设定显存预算，在显存不足时由 CPU/RAM 分担计算。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-10-20
工具
tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)
Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。
展开详情收起详情：Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法⌄
程序员用于长上下文推理与机制可解释性研究：在混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）上以免训练、权重不变的运行时注意力干预方式，改善多跳指针追踪与长上下文检索准确率，并可用仓库提供的评测脚本和结果文件复现 RULER VT、BABILong qa3、Lost in the Middle 等基准评测。
★ 1 · 研究实现
原文发布：未知收录：2026-10-19
工具
Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。
展开详情收起详情：Chimeraforge：LLM 部署容量规划命令行工具⌄
程序员程序员可用该 CLI 规划 LLM 部署：输入模型规模、HF 仓库或 Ollama 标签及 GPU 硬件与请求速率，在 VRAM、质量、延迟、成本、能耗等约束下搜索最便宜的满足 SLO 的配置；也可通过 MCP 服务器让 Claude/GPT/Cursor 调用规划器获取部署参数与启动命令。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-10-19
工具
Atomic-Germ/OpenFlowLM-Next · Active and open development fork of FastFlowLM.
OpenFlowLM 是 FastFlowLM 的社区分支，用本仓库内从源码构建的开源 AIE 内核替代原项目的闭源 NPU 内核，面向搭载 XDNA2 NPU 的 AMD Ryzen AI 系列芯片提供 NPU 优先的推理运行时，可运行 LLM、嵌入模型和 MoE 模型，无需 GPU。项目提供单命令 CLI（run、serve、list、bench），支持 OpenAI 兼容 API，并用 GGUF 与 Q4_K 容器格式加载权重。开源内核覆盖 Qwen3.6-MoE、Qwen3.5、Qwen3、Qwen2.5、Llama 3、Gemma 3、Phi-3/4、LFM2、HunYuan、Granite 等模型族，另通过 src/open_npue 提供第二个嵌入后端。视觉、音频以及 Gemma 4、GPT-OSS、Whisper 等尚无开源内核设计，仍调用上游闭源引擎二进制。
展开详情收起详情：OpenFlowLM：面向 Ryzen AI NPU 的开源 NPU 内核 LLM 推理运行时⌄
程序员在搭载 XDNA2 NPU 的 AMD Ryzen AI 设备上本地运行 LLM、嵌入模型和 MoE 模型，并通过 OpenAI 兼容 API 或 CLI（run、serve、list、bench）接入开发与测试流程，无需 GPU。
★ 35 · 可直接使用的工具
原文发布：未知收录：2026-10-18
工具
hellcworld/FreeToken · Fork of FlashML-org/FreeToken: + Qwen3.8-27B NVFP4 (both dialects) & Qwen3.5/3.6/3.8 vision input
FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。
展开详情收起详情：FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎⌄
程序员在个人或消费级硬件上本地部署并运行前沿规模的开源 MoE 模型，通过 OpenAI/Anthropic 兼容 API 接入编码与工具调用类 Agent（如 Codex、Claude Code、OpenCode 等），用于代码编写、测试与排错等开发工作；也可用其视觉输入能力处理带图片的请求。
★ 2 · 开发框架
原文发布：未知收录：2026-10-17
综合合集
mfellner/sparkrun-recipes · Custom SparkRun recipes for DGX Spark-class systems
该项目是面向 NVIDIA DGX Spark 及兼容 GB10 系统的自定义 SparkRun 配方注册表，通过 sparkrun registry add 注册后可在 @mfellner/ 命名空间下使用。包含多个配方：单机原生 TTS（Fish Audio Drama 3）、单机多模态检索嵌入（Qwen3-VL-Embedding-8B）、双机 1M 上下文的 Qwen3.8 Flash Next NVFP4 和 GLM 5.3 Flash EXL3 on TensorFold 等，均带有镜像与模型快照的不可变 pin、依赖与授权说明以及可复核的验收证据。配方多采用非特权容器、主机网络/IPC、设备访问等配置，服务默认无鉴权，需运行在受信任的私有网络中。
展开详情收起详情：sparkrun-recipes：面向 NVIDIA DGX Spark 的 SparkRun 推理配方注册表⌄
程序员在 DGX Spark 类 GB10 系统上部署和运行大模型推理服务：通过 sparkrun registry add 注册该配方仓库后，可用 sparkrun run 启动单机 TTS、单机多模态检索嵌入、双机 1M 上下文 Qwen3.8 Flash Next NVFP4 以及 GLM 5.3 Flash EXL3 on TensorFold 等推理配方，并参考其中的镜像与模型快照不可变 pin、依赖与授权说明以及可复核的验收证据进行部署验证。
★ 6 · 可直接使用的工具
原文发布：未知收录：2026-10-15
工具
Vcvzgbzz/hearth · A queue in front of your local inference server, and an optional way to lend the spare capacity to someone you trust.
hearth 是一个位于本地推理服务器前面的接入与调度层，用于解决单张 GPU 同时只能承载一个模型、多个请求争抢不同模型导致反复换权重的问题。它对外提供 OpenAI 兼容的 /v1/chat/completions 与 /v1/models 接口（含流式），客户端只需把地址指向它即可。核心能力包括带优先级、老化防饿死、按调用方限额并优先复用已加载模型的队列；可选的路由规则、控制台 /ui、调用方 API Key 与用量统计、多后端（多服务器、多显卡、局域网内其他机器、非 OpenAI 协议后端）、云端 provider 后端、模型可用性金丝雀探测，以及在可信节点之间出借/借用闲置算力。
展开详情收起详情：hearth：为本地推理服务器提供队列调度与容量共享的 OpenAI 兼容接入层⌄
程序员在本地推理服务器前部署 OpenAI 兼容的接入与调度层，为多个客户端请求不同模型时提供带优先级、防饿死、按调用方限额的队列，并优先复用已加载模型，避免单张 GPU 反复换权重；客户端只需把地址指向该服务即可继续使用现有 OpenAI 接口。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-10-14
工具
OpenMachine-ai/transformer-tricks · A collection of tricks and tools to speed up transformer models
Transformer Tricks 是一个围绕 Transformer 模型效率优化的技巧与工具集合，通过移除架构中的冗余组件来提升模型效率。项目包含 slim attention（从 MHA 模型的上下文内存中去除整个 V-cache）、FlashNorm（将 RMSNorm 的权重折叠进后续线性层）、MatShrink（进行中）、第一层预计算、以及为 skipless transformer 仅保留 KV 权重等技巧，并附带论文、讲解视频、Colab notebook 与 Python 包。项目提供 pip 安装的 transformer-tricks 包，以及将基于 RMSNorm 的 HuggingFace 检查点转换为 FlashNorm 变体并发布到 HuggingFace 的转换脚本。
展开详情收起详情：Transformer Tricks：简化并加速 Transformer 模型的技巧与工具集⌄
程序员程序员可用该工具集优化 Transformer 模型效率：通过 slim attention 从 MHA 模型的上下文内存中去除整个 V-cache，通过 FlashNorm 将 RMSNorm 的权重折叠进后续线性层，并使用 pip 安装的 transformer-tricks 包及转换脚本将基于 RMSNorm 的 HuggingFace 检查点转换为 FlashNorm 变体。
★ 233 · 开发框架
原文发布：未知收录：2026-10-13
工具
opod-io/opod-core · Self-hosted AI gateway for the GPUs you already own: one OpenAI-compatible endpoint across many machines. Engine-agnostic (Ollama, vLLM, SGLang, llama.cpp, MLX-LM), load-aware routing, one model sharded across nodes, API keys, Prometheus + OpenTelemetry. Go, Apache-2.0, no telemetry.
Opod 是一个用 Go 编写的自托管 AI 推理网关，将多台自有机器上的开源权重模型聚合为单一的 OpenAI 兼容端点（/v1/chat/completions 与 /v1/embeddings）。它不绑定推理引擎，可对接 Ollama、vLLM、SGLang、MLX-LM、llama.cpp，提供负载感知路由、跨节点分片大模型、API Key 与 join token、Prometheus 与 OpenTelemetry 观测能力，核心无厂商外发流量，仅以 CLI 和 HTTP API 形式提供，无内置 UI。
展开详情收起详情：Opod：为自有 GPU 提供统一 OpenAI 兼容端点的自托管 AI 网关⌄
程序员将 Cursor、Aider、Continue、Codex CLI 或任意 OpenAI SDK 指向自托管的 Opod 端点，让这些编码工具使用自有 GPU 上的开源权重模型（如 Qwen、Llama、DeepSeek）完成代码编写与辅助，避免把专有代码发送给第三方 API。
★ 2 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
magnusfroste/garageai · A marketplace for local AI inference in Europe: garage owners offer GPUs they already own, buyers call them through one OpenAI-compatible API, and owners get paid per token. NetBird mesh + LiteLLM gateway in the EU.
GarageAI 是一个本地 AI 推理交易市场：拥有 GPU 的车库主通过 GarageAI Bridge 在用户态建立 WireGuard 隧道把算力接入网关，买家通过位于欧盟 VPS 上的 LiteLLM 网关获得 OpenAI 兼容 API，按 token 预付费调用；请求经 NetBird 网状网络（UDP 被阻断时的回退方案）路由到各家车库，支持模型 Pool 与指定车库两种购买方式，并具备自动故障转移与按 key/模型计费能力。项目强调本地化与欧洲数据主权，车库不暴露于公网，无需开放入站端口。
展开详情收起详情：GarageAI：面向欧洲的本地 GPU 推理交易市场，通过统一 OpenAI 兼容 API 调用⌄
程序员程序员可将现有 OpenAI SDK、Agent 和编码工具的基础 URL 改为 https://api.garageai.eu/v1，通过 OpenAI 兼容 API 调用本地 GPU 上运行的模型（Ollama、LM Studio、llama.cpp、vLLM、SGLang 等），用于代码编写、测试和排错等开发工作。
★ 1 · 可直接使用的工具
原文发布：未知收录：2026-10-13
工具
zacharydenton/clef-hrx · Cloudflare CLEF structured decisions from text, images and video on AMD Strix Halo. Rust, HRX and Loom.
该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。
展开详情收起详情：clef-hrx：在 AMD Strix Halo 上用 Rust 运行 Cloudflare CLEF 多模态结构化决策推理⌄
程序员在 AMD Strix Halo（gfx1151 GPU）上以 Rust 运行 Cloudflare CLEF 与 CLEF Flash 多模态结构化决策推理，可对文本、图像和视频回答 choice、score、noul 三类结构化问题，并支持 BF16/INT4 精度、JSONL 批量请求以及 ClefModel/Encoder 库接口，供程序员在本地集成与调用。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-12
工具
quickhoteloccupancy5342/vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring · Serve Qwen3.8-Flash-Next on one RTX PRO 6000 with vLLM, a sharp chat template, and bundled Prometheus+Grafana monitoring.
该仓库提供一套基于 Docker 的打包方案，用于在 NVIDIA RTX PRO 6000 Blackwell 显卡上通过 vLLM 运行 Qwen3.8-Flash-Next 语言模型，包含 Qwen-Sharp 对话模板、MTP-3 推测解码、工具调用支持，以及 Prometheus 与 Grafana 组成的实时监控面板。README 说明面向 Windows 10/11 用户提供 start.bat 启动脚本，本地推理不上传对话数据，并在首次运行时下载约 40GB 模型文件。
展开详情收起详情：vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring：在 RTX PRO 6000 上通过 vLLM 部署 Qwen 模型并附带监控面板⌄
程序员在配备 RTX PRO 6000 Blackwell 显卡的 Windows 机器上，通过 Docker 一键部署本地 Qwen3.8-Flash-Next 推理服务，用于本地对话与工具调用；并可通过 Prometheus+Grafana 面板查看 GPU 使用率、显存、生成速度、温度与响应时间等运行指标，辅助排查性能问题。
★ 0 · 可直接使用的工具
原文发布：未知收录：2026-10-12