跨栏目检索
搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。
nmorgowicz-org/local-llm-foundry · AI runtime loader and model-management control center for local LLM deployments.
Local LLM Foundry 是 llama.cpp 与 GGUF 推理的统一管理面板，提供模型库、硬件感知配置向导、GPU 与系统遥测、聊天工作区，并支持在 Apple Silicon 上以 Rapid-MLX 作为后端。它可发现和导入本地模型、估算显存并调优推理参数，托管 llama.cpp 与 Rapid-MLX 运行时的安装与更新，还提供 TLS、ACME、mTLS 等远程访问安全配置。
ai-runway/airunway · ✈️ Kubernetes-native platform for deploying and managing AI inference across multiple providers
AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。
defilantech/LLMKube · Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, actively developed.
LLMKube 是一个 Kubernetes operator，用于在异构 GPU 集群上自托管 LLM 推理，覆盖 NVIDIA CUDA、AMD Vulkan 与 Apple Silicon Metal；支持 llama.cpp、vLLM、TGI、mlx-server 等运行时，提供多 GPU 分片、模型缓存和 OpenAI 兼容端点。它还包含 ModelRouter，可在本地模型与外部 Anthropic/OpenAI/LiteLLM 后端之间做策略感知路由并支持 fail-closed；另有 Foreman 附加组件，用于在自有集群上编排编码智能体工作负载。项目采用 Apache-2.0 许可，可用于 homelab、本地机房和隔离网络环境。
deepseek-ai/DeepEP · DeepEP: an efficient expert-parallel communication library
DeepEP 是 DeepSeek 开源的高性能通信库，为 MoE（混合专家）模型的训练与推理提供高吞吐、低延迟的专家并行（EP）all-to-all GPU kernel，支持 FP8 dispatch，并通过 NVLink 完成冗余专家的权重与梯度交换；通信 kernel 由 DeepJIT 在运行时编译。项目还提供流水并行（PP）、上下文并行（CP）、数据并行（DP）和远程内存访问（Engram）的实验性原语，较新版本引入 NCCL Gin 后端、统一的 EPBuffer 接口以及用于 CP/DP 的批量集合通信 BucketBuffer。该库面向大模型训练与推理系统中的专家并行通信场景，已提供昇腾版本 DeepEP-Ascend。
deepseek-ai/FlashMLA · FlashMLA: Efficient Multi-head Latent Attention Kernels
FlashMLA 是 DeepSeek 推出的优化注意力算子库，用于支撑 DeepSeek-V4.1 模型在 NVIDIA GPU 和华为昇腾 NPU 上的推理。仓库包含面向 prefill 和 decoding 的 token 级稀疏注意力算子（支持 FP8/FP4 KV 缓存）、融合 Q-norm/ Q-RoPE/核心注意力/O-RoPE/FP8 转换的单一融合算子，以及用于 prefill 和反向传播的稠密注意力算子；其中稀疏算子支撑 DeepSeek Sparse Attention（DSA）。需注意 2026.09.30 版本移除了对 Hopper 架构及 DeepSeek V3/V3.2/V4.0 等前代模型的支持，并更改了 KV 缓存格式，与旧版不兼容。
deepseek-ai/DeepInfer · DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepInfer 是 DeepSeek 用于支撑其大规模生产服务的高性能推理框架，本次开源版本提供离线推理能力。它支持 DeepSeek-V4.1-Flash 模型，包含优化内核、Attention DP / 均衡 CP、MoE EP + EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、异步调度、批不变推理、确定性采样和结构化输出等特性，可运行在 NVIDIA SM100 GPU 与华为昇腾 950 NPU 上。完整推理服务所需的 KV 缓存系统、VE/Prefill/Decode 分离以及数据并行副本间的负载均衡未包含在本版本中。