stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.
该项目是一个服务测量工具包，起源于推测解码速度实验，包含标准库 Python 客户端，用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标，并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验（单张 RTX 4090 上 1536 次 vLLM 请求）的原始轨迹、结果表与对比数据，以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置，不构成通用最快服务栈的选型依据，也未声称无损加速或输出质量提升。
展开详情收起详情：Inference Systems Lab：LLM 推理服务基准测量与证据复现工具包⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-25
Q-ANT-GmbH/qant_native_computing_toolkit
Q.ANT 官方提供的原生计算工具包，用于在 Q.ANT 原生处理单元上运行工作负载。提供 Python（wheel/pip）与 C/C++（Debian 包 / 共享库）绑定，支持在有 Q.ANT 硬件与驱动时使用硬件后端，也提供 cpu-backend 独立模式，可在无 Q.ANT 硬件的 CPU 上进行开发，并附有文档与独立示例仓库。
展开详情收起详情：Q.ANT native computing toolkit：在 Q.ANT 原生处理单元上运行工作负载的官方 API⌄
★ 32 · 开发框架
GitHub
原文发布：未知收录：2026-09-25
qxoticai/qxotic · AI sovereignty for the world's most trusted runtime.
Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。
展开详情收起详情：Quixotic AI：面向 JVM 的本地 AI 开源全栈⌄
★ 92 · 开发框架
GitHub
原文发布：未知收录：2026-09-24
potto007/unridden · Zero-generated-token decision API: reads a local LLM's final-position label logits to answer Choice, Score and true/false questions. Apache-2.0.
Unridden 是一个本地决策 API，通过读取本地 LLM 末位标签 logits 来回答结构化问题，不生成任何 token。用户提供 state 和一个命名问题映射，服务为每个问题返回一个类型化答案：Choice（选项）、Score（分数）或 Noul（真/假概率）。它在本地以单个 llama.cpp 子进程运行，一次处理一个请求，不采样也不追加 token，适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。
展开详情收起详情：Unridden：读取本地 LLM 末位 logits 的零生成决策 API⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-24
Simonc44/aura-1b · Hybrid neuro-symbolic AI: Llama 3.2 1B + exact math + verified facts — instant CPU-native answers in 807 MB, no GPU. Sealed .aef distribution
Aura-1B 将语言生成、精确数学计算与事实记忆拆分成多个专用模块，而不是让单个小模型包办全部任务。系统以 Llama 3.2 1B Instruct（Q4_K_M，807 MB）为语言核心，配合安全的 AST 数学求值器、TF-IDF+逻辑回归路由器、遗传编程符号专家、DuckDuckGo 联网检索、事实图、PAL 计算、程序化思维（PoT）、逻辑求解器与轻量认知 Agent，在无 GPU 的机器上给出精确且可验证的答案。项目提供 .aef 密封分发格式（含 SHA-256 校验与可选 Ed25519 签名、AES-256-GCM 加密），并支持硬件自动调参。
展开详情收起详情：Aura-1B：CPU 原生的神经符号混合推理系统⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-22
off-grid-ai/OGAD · Off Grid AI — private, on-device AI. Run open models (text, vision, image, voice) locally through one OpenAI-compatible gateway. No cloud, no accounts, no API keys.
Off Grid AI 是一个桌面端本地优先的 AI 运行时与工作室，通过内置的 llama.cpp、stable-diffusion.cpp、whisper.cpp 和 Kokoro，在用户机器上运行开源文本、视觉、图像、语音与语音识别模型，并提供统一的 OpenAI 兼容本地网关（http://127.0.0.1:7878/v1）。免费开源核心包含聊天（文本+视觉+推理模式）、图像生成、语音输入输出、Artifacts/Canvas、带 RAG 的项目、聊天工具与 MCP 连接器、模型目录与 Hugging Face 搜索。Pro 版本额外提供始终在线的端侧「看见/记忆/反思/行动」层，包括屏幕 OCR、日记与实体、回放、会议记录、听写、剪贴板管理与审批队列等，属于付费授权功能。所有推理均在本地完成，不经过官方服务器，无需账号与 API Key。
展开详情收起详情：Off Grid AI：本地优先的端侧多模态 AI 运行时与 OpenAI 兼容网关⌄
★ 111 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-21
Gshacker-cpu/oma · Enable runtime SIMD dispatch in Zig by compiling and selecting optimized functions for specific CPU microarchitectures automatically at startup
oma 是一个面向 Zig 语言的运行时 SIMD 调度工具，在程序启动时自动检测 CPU 所支持的指令集（如 AVX、AVX2、AVX-512、SSE2、NEON），并从一次编译生成的多份优化版本中挑选最快的一份执行，从而提升音视频、科学计算等并行密集型任务的速度。据 README 说明，它主要面向 Windows 10 及以上系统，运行时资源占用较小，不影响其他软件，也可直接删除文件卸载。
展开详情收起详情：oma：为 Zig 程序自动选择 CPU SIMD 指令的运行时优化工具⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-20
lightseekorg/tokenspeed · TokenSpeed is a speed-of-light LLM inference engine.
TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。
展开详情收起详情：TokenSpeed：面向智能体工作负载的高速 LLM 推理引擎⌄
★ 2132 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-16
marouchsail/aigateway · Manage and route API requests between applications and multiple LLM providers with per-client keys, configs, and real-time usage tracking.
aigateway 是一个可自托管的 AI API 网关，用于在应用与多个 LLM 提供商之间管理和路由 API 请求。它支持为不同客户端分配密钥与配置、通过 ACL 控制访问权限、指定客户端可用的 AI 模型、设置速率限制和日/月配额，并通过实时仪表盘监控请求量、错误和性能。项目以 Go 编写，README 提供了 Windows 平台的下载、安装与配置说明。
展开详情收起详情：aigateway：统一管理和路由多 LLM 提供商 API 请求的网关工具⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-16
JustVugg/colibri · Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
colibri 是一个以单个 C 文件实现的 MoE 推理引擎，将 VRAM、内存和 NVMe 视作统一的多层存储层级，把稠密部分常驻内存、路由专家按需从磁盘流式加载，从而在消费级或异构硬件上运行 744B 至 2.8T 参数的前沿 MoE 模型。它支持 GLM、Kimi K3、DeepSeek、Qwen、OLMoE 等模型家族，提供 chat / serve / web 前端，并包含专家多级驻留、双 SSD 条带、批合并读取、路由预取与本地集群模式等系统级优化，同时定位为可修改、可测量的开源推理研究平台。
展开详情收起详情：colibri：用纯 C 在自有硬件上流式运行前沿 MoE 大模型的推理引擎⌄
★ 31972 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-15
ai-dynamo/dynamo · A Datacenter Scale Distributed Inference Serving Framework
Dynamo 是构建在 SGLang、TensorRT-LLM、vLLM 等推理引擎之上的开源数据中心级推理编排层，将这些引擎组织为多节点协调推理系统。它提供分离式预填充/解码服务、KV 感知路由、多级 KV 缓存卸载、SLA 驱动的自动扩缩容、模型权重流式加载与请求迁移容错等能力，面向 LLM、推理、多模态与视频生成等工作负载。项目以 Rust 实现核心性能、Python 提供扩展性，支持容器、PyPI 与 Kubernetes（含 Gateway API 推理扩展）等多种部署方式，并附带内置 recipes 与示例。
展开详情收起详情：Dynamo：将多节点 GPU 集群编排为协调推理系统的数据中心级推理栈⌄
★ 8074 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-15