推理与部署综合合集

local-llm-benchmarks：AMD RDNA4 显卡上 llama.cpp 本地大模型的实测基准

kr4ckhe4d/local-llm-benchmarks · Measured llama.cpp benchmarks on AMD Radeon RDNA4 with ROCm: RX 9070 XT + Radeon AI PRO R9700 (48 GB). Qwen3.8, Gemma 4, GLM, gpt-oss; GGUF quant quality (KLD), MTP speculative decoding, 128K context, Claude Code with local models.

GitHub原文发布未知首次收录 2026-11-07上架 2026-11-07 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

这是一个实测记录型仓库，汇集了在 AMD Radeon RDNA4 显卡（RX 9070 XT 与 Radeon AI PRO R9700，合计约 48.9 GB 显存）上运行 llama.cpp + ROCm 7.2 的基准数据。内容包括各模型的吞吐量、显存适配、GGUF 量化质量（与 BF16 的 KL 散度对比）、MTP 推测解码、128K 长上下文实测，以及在本地模型上运行 Claude Code、aider、Cline、Pi 等编码代理的实践记录。还附带了 ROCm 与 Vulkan 后端的对比、llama.cpp 版本升级前后的差异，以及脚本和原始日志。

# 量化 # 基准测试 # llama.cpp # ROCm # 本地大模型

核心能力与快速开始

★ 18 · Python

能做什么: 记录在 AMD RDNA4 显卡上用 llama.cpp + ROCm 运行多类本地大模型（Qwen、Gemma、GLM、gpt-oss、Nemotron 等）的实测性能：单卡 16 GB 与双卡 48.9 GB 两种配置下的生成与 prefill 吞吐、显存占用与适配、GGUF 量化相对 BF16 的 KL 散度质量评估、MTP 推测解码的接受率、128K 深度上下文表现、MoE 模型的 CPU expert offload 取舍、ROCm 与 Vulkan 后端对比，以及 llama.cpp 版本升级前后的性能变化。另含在本地模型上运行 Claude Code、aider、Cline、Pi 等编码代理的记录与配置预设（models-preset.ini）和基准脚本、原始日志。
适用场景: 适合：为在 AMD Radeon RX 9070 XT / Radeon AI PRO R9700 上部署本地推理选择量化方案与 llama.cpp 参数；评估第二块 GPU 对 MoE 模型 offload 的收益；判断模型能否在 16 GB 单卡上承载 128K 上下文；在本地模型上运行 Claude Code 等编码代理前了解已知问题与选型建议；对比 llama.cpp 不同构建版本或 ROCm/Vulkan 后端表现。
项目形态: 资料合集
部署方式: 未说明（仅描述作者的实测环境：CachyOS、ROCm 7.2.53211、llama.cpp b11434，GGML_HIP=ON、AMDGPU_TARGETS=gfx1201；未提供通用部署步骤）
主要依赖: 未说明通用要求；实测机器为 Ryzen 7 9800X3D、32 GB DDR5-6000、RX 9070 XT 16 GB + Radeon AI PRO R9700 32 GB（合计 48.9 GB 显存），单卡记录基于 Ryzen 9 5950X、64 GB DDR4-3200
使用限制: 所有数字均来自作者特定硬件与软件版本，不可直接外推到其他配置；文中多张表格标注已被后续测量取代（如单卡记录、Vulkan 数据）；部分模型条目注明已移除或更换量化；仅覆盖 AMD RDNA4 + Linux + ROCm 环境，其他平台未说明；未说明 API 成本与商用许可之外的部署限制。
许可证: MIT
最近推送: 2026-11-06 18:08

项目文档核对 README 依据 ↗

资料检查：2026-11-07 07:00 · 卡片整理：2026-11-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在 AMD RDNA4 显卡上本地运行 llama.cpp 模型，并据此选择模型与量化配置来驱动 Claude Code、aider、Cline、Pi 等编码代理；仓库提供吞吐量、显存适配、GGUF 量化质量（KLD）、MTP 推测解码和 128K 长上下文实测数据，以及各代理的实践记录和预设配置。

查看内容依据

Running **Claude Code** against local llama.cpp models: what breaks, fixes, which model to pick, SearXNG web search

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

reasoning-dataset-lab：面向推理数据集构建的先证明答案键，再由模型措辞

reasoning-dataset-lab（命令行工具 rdlab）是一个 map-first 实验室，用于构建谜题、测验与验证项数据集。它先用代码构造形式化状态并由求解器证明答案键，再由本地模型将条目措辞，并记录每个条目的来源。它提供地图校验与指纹、模型列出与多样性报告以及评委比拼（bake-off）；后者包含密封测试部分、表面特征探测以及独立评分步骤。项目为 Python 包，要求 Python 3.13 及以上，评委运行需 GPU 与经许可的本地模型，版本为 alpha。

LlamaForge：面向 llama.cpp 的浏览器端本地大模型控制面板

LlamaForge 是一个开源控制面板，它不自带模型，通过驱动官方 llama.cpp 的 llama-server 路由并编辑 models.ini，在浏览器中管理本地 GGUF 模型的下载、加载、参数配置与对话。提供按显存评估模型能否装下、查看并调整全部 llama-server 参数、一键更新 llama.cpp、多模型并行、盲测竞技场、本地 TTS、定时追踪型本地 Agent、Hugging Face GGUF 发现与下载，以及 OpenAI/Anthropic 兼容 API 与 MCP 接入。项目为早期预览，Windows + NVIDIA 为测试较多的路径，Linux 和 macOS 实机使用较少。

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。