ROCm

local-llm-benchmarks：AMD RDNA4 显卡上 llama.cpp 本地大模型的实测基准

kr4ckhe4d/local-llm-benchmarks · Measured llama.cpp benchmarks on AMD Radeon RDNA4 with ROCm: RX 9070 XT + Radeon AI PRO R9700 (48 GB). Qwen3.8, Gemma 4, GLM, gpt-oss; GGUF quant quality (KLD), MTP speculative decoding, 128K context, Claude Code with local models.

这是一个实测记录型仓库，汇集了在 AMD Radeon RDNA4 显卡（RX 9070 XT 与 Radeon AI PRO R9700，合计约 48.9 GB 显存）上运行 llama.cpp + ROCm 7.2 的基准数据。内容包括各模型的吞吐量、显存适配、GGUF 量化质量（与 BF16 的 KL 散度对比）、MTP 推测解码、128K 长上下文实测，以及在本地模型上运行 Claude Code、aider、Cline、Pi 等编码代理的实践记录。还附带了 ROCm 与 Vulkan 后端的对比、llama.cpp 版本升级前后的差异，以及脚本和原始日志。