TorchTPU：在 Google TPU 上运行 PyTorch 模型与算子
google-pytorch/torch_tpu
TorchTPU 为 Google TPU 提供 PyTorch 后端，包含面向 TPU 的自定义 ATen 算子实现、用于优化 XLA 计算执行的编译缓存，以及分布式训练（数据并行、张量并行）和模型推理示例。项目还支持与 torch.compile() 集成进行图模式执行，并提供调试与性能基准工具。
评论 · 分享第一个看法
AI 资源库 · 已整理 11 项
推理与部署
查看与推理与部署相关的 AI 资讯、工具、Skill、工作流和开源项目。
DeepInfer：面向 DeepSeek 模型的高性能大规模推理框架
deepseek-ai/DeepInfer · DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。
Yunshu：面向 Apple Silicon 的本地 LLM/VLM 推理引擎
YuhuanStudio/Yunshu · Fast local LLM / VLM inference engine for Apple Silicon (MLX). OpenAI- and Anthropic-compatible, lossless speculative decoding (DFlash2 / MTP), hybrid-model prefix cache with RAM/SSD tiers, native Claude Code / Codex / opencode support. Qwen3.8-27B tuned first.
Yunshu 是一个基于 MLX、在 Apple Silicon 上本地运行的 LLM 与 VLM 推理引擎，单进程提供 OpenAI、Anthropic 和 Ollama 兼容 API。它支持无损的推测解码（DFlash2、MTP、prompt-copy drafting）、面向混合模型的前缀缓存（RAM、SSD 及可选存储层级）、结构化输出、多模态输入、Web 搜索与 MCP、编码代理（Claude Code、Codex、opencode）接入，以及包含密钥配额、主机遥测和评测的本地 Web 控制台。首个完整调优模型为 Qwen3.8-27B。
Genesis vLLM Patches：面向 Ampere GPU 的 int8 端到端推理补丁集
blairq/genesis-vllm-patches · Runtime patches for vLLM 0.29.0: a 27B hybrid-GDN model at 256K context on 2x RTX 3090 — integer attention kernels, W4A8 Marlin, DFlash2 speculative decoding.
该项目是 vLLM 0.29.0 的个人运行时补丁分支，核心思路是在没有 fp8 张量核心的 Ampere（sm_86）硬件上把 int8 作为贯穿各阶段的「计算」格式。补丁覆盖 W4A8 Marlin GEMM、int8 per-token-head KV cache、手写 PTX 整数注意力解码内核、int8 TP all-reduce 以及 int4 lm_head 等，目标是让张量从 RMSNorm 到注意力全程不离开整数域。仓库基于特定机器（2× RTX 3090、TP=2、一个特定量化检查点）调优，附带大量实测对比数据与未解决问题记录，处于活跃开发状态，并非成品。
TensorFold：在 Apple Silicon 与 NVIDIA GPU 上提供精确 LLM 解码的 OpenAI 兼容端点
ashhart/TensorFold · Fast, exact LLM decoding on Apple Silicon (MLX) behind an OpenAI-compatible endpoint
TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。
MaxToken：在 Apple silicon 上以有限内存服务大型 MoE 模型
notagentdev/maxtoken · Serve MoE models bigger than your memory on Apple silicon. MLX engine with elastic SSD-backed expert offload, native MTP speculative decoding, OpenAI/Anthropic-compatible APIs and a built-in web console.
MaxToken 是 FlashML FreeToken 的独立分支，把面向边缘的 MoE 推理引擎改造成 Apple silicon 优先的运行时，目标是“用最少内存产出最多 token”。它基于 MLX 执行，只保留稠密核心常驻内存，把路由专家放到由 SSD 直接读取驱动的弹性、硬预算槽位缓存中；当模型可容纳时则使用零拷贝内存映射存储以常驻内核速度运行。项目提供 OpenAI 与 Anthropic 兼容 API（Claude Code、Codex 可直接对接）以及内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），并支持原生 MTP 投机解码与草稿模型投机解码。仅在 Apple silicon（macOS、Metal）上运行，0.0.1 起移除了上游 CUDA 引擎。
KubeMind SDK：在 Kubernetes 上编排、推理与自愈 AI 工作负载的 Python SDK
nhvang/kubeflow-python-orchestrator · Kubeflow Python SDK 2026: Run AI Workloads on Kubernetes Seamlessly
KubeMind SDK 自称是面向 Kubernetes 上 AI 工作负载的“认知结构”Python SDK，提供语义化流水线构建、预测式自动扩缩、基于概率依赖图的自愈能力、PyTorch/TensorFlow/JAX/ONNX 多框架运行时统一封装、因果时间线可观测性、Web 仪表盘、多语言错误提示与零信任安全壳等功能，并提供 gRPC/GraphQL/WebSocket 桥接以便非 Python 服务接入。README 中的性能数字与预测准确率均属其自述基准，未提供可核验材料。
cpu-slm：在 CPU 上运行的 Rust 大语言模型推理与对话工具
ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.
cpu-slm 是一个基于 Rust 的 SLM/LLM 项目，目标是在 CPU 上完成高效推理与聊天交互，并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能，支持 Windows、Linux 和 macOS，附带入门安装步骤与学习资料，定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。
llama.cpp-sycl-intel-b70：面向 Intel Arc Pro B70 的 llama.cpp SYCL Docker 镜像与调优指南
snailium/llama.cpp-sycl-intel-b70 · Community-maintained llama.cpp SYCL Docker optimized for Intel Arc Pro B70 (Battlemage). Latest oneAPI/compute-runtime/IGC, B70-specific AOT build, all features enabled (Flash Attention, MTP, reorder kernels, no GGML_SYCL_DISABLE_OPT).
该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。
llamaMan：在 Docker 中启动、监控与集群管理多个 llama.cpp 实例的浏览器界面
nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy
llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。
Inference Systems Lab：LLM 推理服务基准测量与证据复现工具包
stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.
该项目是一个服务测量工具包，起源于推测解码速度实验，包含标准库 Python 客户端，用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标，并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验（单张 RTX 4090 上 1536 次 vLLM 请求）的原始轨迹、结果表与对比数据，以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置，不构成通用最快服务栈的选型依据，也未声称无损加速或输出质量提升。