推理与部署AI 资源

strix-halo-llm：AMD Strix Halo 上的 llama.cpp Vulkan 调优与 LLM 评测工具集

lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.

GitHub原文发布未知首次收录 2026-10-17上架 2026-10-17 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。

# llama-cpp # 本地开发 # eval-harness # 基准评测 # 量化推理

核心能力与快速开始

★ 1 · PowerShell

能做什么: 提供在 AMD Strix Halo（gfx1151）统一内存平台上运行本地 LLM 的实测调优方案：单模型启动脚本 run-solo.ps1、llama.cpp 路由器模式启动器 run-router.ps1（支持按 model 字段路由、多槽位、子进程崩溃重载）、Prometheus 指标导出器 metrics-exporter.ps1 与 router-watchdog.ps1 看门狗；提供引擎与模型下载脚本（fetch-llamacpp、fetch-models）；公开实测结果，包括约 109 GB 可用内存上限、Vulkan 比 Ollama-ROCm 快 1.79 倍、批大小对稠密模型与 MoE 的不同影响等；附带两套私有评测套件（工具调用与智能体编程）与一个记录了十六个评测框架 bug 的目录，每个 bug 都注明其产生的看似合理的错误数值。
适用场景: 适用于新购入 Strix Halo / gfx1151 机器、希望快速得到可用且已调优本地推理环境的用户；适用于在统一内存硬件上做推理加速研究的开发者；也适用于任何做 LLM 评测、希望避免评测框架产生可信错误数值的研究者（评测工具部分与具体硬件无关）。
项目形态: 可直接使用的工具
部署方式: Windows 11 为实测支持平台，通过 PowerShell 脚本部署；Linux 与 macOS 有对应脚本但标注为未经证实，建议先用 --dry-run 试运行。
主要依赖: AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）硬件，Windows 11 与 PowerShell 5.1，或 Python 3.12；评测工具部分需要 Python 与 Docker。
使用限制: 内存上限、批大小、推测解码等具体数值仅在作者的单台 Strix Halo 机器上测得，未必适用于其他硬件；Linux 与 macOS 支持尚未验证；仓库质量评分数据被作者主动撤回，重新评测进行中；部分服务代码（如图像/视频）未公开。
许可证: MIT
最近推送: 2026-10-16 09:45

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-17 07:00 · 卡片整理：2026-10-17 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

Harbor：面向容器环境评估与优化智能体和语言模型的框架

Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。

decision-longctx-evals：面向决策模型的长上下文检索与推理评测工具

该项目为“决策模型”（读取状态并对固定选项集返回概率、而非生成文本的模型）提供两套长上下文评测：Decision RULER 包含 11 个合成任务（针检索、变量追踪、词计数），以多选题决策形式覆盖 64K 至 1M token；Decision LCR 基于真实文档（每份约 100K token）的 100 道多选题。项目提供 pip 安装的 dlce 命令行工具，通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率来运行评测，支持并发、多端点分发、断点续跑，并按任务平均分（RULER）或全对准确率（LCR）计分，输出逐决策的 JSON 记录。该评测是 RULER 与 AA-LCR 面向决策模型的原则性改编，分数与原基准不可直接比较。

llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理

llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。

serbeval：面向塞尔维亚语语法与正字法能力的 LLM 基准评测

serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。