kr4ckhe4d/local-llm-benchmarks · Measured llama.cpp benchmarks on AMD Radeon RDNA4 with ROCm: RX 9070 XT + Radeon AI PRO R9700 (48 GB). Qwen3.8, Gemma 4, GLM, gpt-oss; GGUF quant quality (KLD), MTP speculative decoding, 128K context, Claude Code with local models.
这是一个实测记录型仓库，汇集了在 AMD Radeon RDNA4 显卡（RX 9070 XT 与 Radeon AI PRO R9700，合计约 48.9 GB 显存）上运行 llama.cpp + ROCm 7.2 的基准数据。内容包括各模型的吞吐量、显存适配、GGUF 量化质量（与 BF16 的 KL 散度对比）、MTP 推测解码、128K 长上下文实测，以及在本地模型上运行 Claude Code、aider、Cline、Pi 等编码代理的实践记录。还附带了 ROCm 与 Vulkan 后端的对比、llama.cpp 版本升级前后的差异，以及脚本和原始日志。
展开详情收起详情：local-llm-benchmarks：AMD RDNA4 显卡上 llama.cpp 本地大模型的实测基准⌄
★ 18 · 资料合集
GitHub
原文发布：未知收录：2026-11-07
Azure/taugrid · Cloud-native AI infrastructure for teams to run, schedule, and monitor AI workloads on GPU-enabled Kubernetes clusters, from data preparation to distributed training, fine-tuning, and inference.
TauGrid 是面向团队的云原生 AI 基础设施，用于在启用 GPU 的 Kubernetes 集群上运行、调度和监控 AI 工作负载，覆盖数据准备、分布式训练、微调和推理。它整合 tau CLI、基于 Kueue 的队列与配额准入、基于 KubeRay 的 Ray 集群编排、节点级 GPU 健康监控以及集群与工作负载可观测性，让平台团队无需逐一组装各组件，研究者也不必直接配置 Kubernetes。
展开详情收起详情：TauGrid：在 GPU Kubernetes 集群上运行和管理 AI 工作负载的云原生基础设施⌄
★ 59 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-11-07
kuberay-project/kuberay · A toolkit to run Ray applications on Kubernetes
KubeRay 是一个开源的 Kubernetes Operator，用于简化 Ray 应用在 Kubernetes 上的部署与管理。它提供 RayCluster、RayJob 和 RayService 三个自定义资源定义，支持集群生命周期管理、自动扩缩容、容错、作业提交、零停机升级和高可用。此外还包含 kubectl 插件、API Server 和实验性 Dashboard 等可选生态组件，并与 Kubernetes 可观测性、排队系统和入口控制器等集成。
展开详情收起详情：KubeRay：在 Kubernetes 上运行 Ray 应用的编排工具⌄
★ 2759 · 开发框架
GitHub
原文发布：未知收录：2026-11-07
kaito-project/kaito · Kubernetes AI Toolchain Operator
KAITO 是 Kubernetes AI Toolchain Operator，采用 CRD 与控制器模式，在 Kubernetes 集群中编排 LLM 推理、微调及 RAG 引擎部署。它通过 Workspace、InferenceSet、InferencePool 等自定义资源简化模型部署：按 GPU 实例类型与 HuggingFace 模型元数据估算显存并计算所需 GPU 数量，借助 Karpenter API 触发 GPU 节点自动扩缩容，并为 vLLM 引擎生成优化后的并行与调度参数。项目支持 LoRA 适配器、KVCache 卸载、基于 KEDA 的副本自动伸缩以及 Gateway API Inference Extension 的 KVCache 感知路由；同时提供 RAGEngine 管理 RAG 服务的 LLM 端点、嵌入服务与向量数据库，内置 FAISS，可选 Qdrant 或 Milvus，并通过 LlamaIndex 提供索引、聊天补全与检索接口。
展开详情收起详情：KAITO：在 Kubernetes 集群中自动化部署 LLM 推理、微调与 RAG 服务⌄
★ 1037 · 开发框架
GitHub
原文发布：未知收录：2026-11-07
kserve/kserve · Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes
KServe 是一个云原生 AI 推理平台，在 Kubernetes 上统一承载生成式与预测式模型服务，支持多框架部署、OpenAI 兼容推理协议、GPU 加速、模型缓存、KV Cache 卸载、请求级自动扩缩容，以及金丝雀发布、推理流水线、模型解释和漂移检测等能力，属于 CNCF 孵化项目。
展开详情收起详情：KServe：在 Kubernetes 上标准化部署生成式与预测式 AI 推理⌄
★ 6197 · 开发框架
GitHub
原文发布：未知收录：2026-11-07