llama.cpp-sycl-intel-b70：面向 Intel Arc Pro B70 的 llama.cpp SYCL Docker 镜像与调优指南

核心能力与快速开始

★ 4 · C++

能做什么

提供社区维护的 llama.cpp + SYCL Docker 镜像（build target 含 server / light / full），针对 Intel Arc Pro B70（BMG-G31，32 GB）做 AOT 构建，并持续跟踪 oneAPI、compute-runtime、IGC、Level Zero 版本。镜像默认开启 Flash Attention、推测解码 / MTP、Q4_K 等 reorder 优化 mul_mat 内核与动态后端（GGML_BACKEND_DL），不设置 GGML_SYCL_DISABLE_OPT；通过 oneDNN（GGML_SYCL_DNN=ON）启用 XMX flash-attention SDPA 预填充路径。仓库另附 B70 调优与现场知识文档、5 任务基准测试方法（benchmark/）、可复现的服务器配置记录、Qwen3.8-27B MTP 启动脚本、docker-compose 以及 CI 自动构建工作流。

适用场景

在 Intel Arc Pro B70 / Battlemage B 系列单卡上以容器方式部署 llama.cpp 推理服务（llama-server），运行 Qwen3.8-27B 等模型的长上下文（最高 131072 ctx）与 agent 类工作负载；按推荐配置搭配 q8_0 KV、Q8_0 MTP draft 与 Flash Attention 以获得稳定吞吐；参考仓库中的采样参数（如 non-thinking 模式的 presence_penalty=1.5）与测试方法，在自己的模型与量化上复现基准并排查 PCIe 掉卡等稳定性问题。

项目形态

可直接使用的工具

部署方式

以 Docker 部署为主：仓库提供 .devops/intel.Dockerfile 与构建脚本，运行示例要求挂载 --device /dev/dri、映射端口并设置 ONEAPI_DEVICE_SELECTOR=level_zero:0、SYCL_CACHE_PERSISTENT=0、ZES_ENABLE_SYSMAN=1 等环境变量；同时给出裸机构建方式（oneAPI setvars + cmake），并提示裸机可能遇到 Intel 驱动版本问题，预构建容器更可靠。

主要依赖

目标硬件为 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）或其他 Battlemage B 系列显卡；需要 Intel GPU 渲染设备（/dev/dri/renderD128 或 renderD129）、Docker，以及文档中提及的 oneAPI / compute-runtime / IGC / Level Zero 依赖版本；DNN/XMX 路径需 intel-oneapi-dnnl。模型加载约需 2 分钟。具体 API 成本与许可证限制未说明。

使用限制

作者说明 SYCL 后端的默认 matmul 内核尚未使用 B70 的 XMX 矩阵单元（上游 TODO），因此在原始单次生成速度上比 vLLM 慢约 2–3 倍；128k 上下文下必须使用 Q8（而非 BF16）的 MTP draft，否则推测缓冲区会撑爆 32 GB 显存；使用 oneDNN XMX SDPA 需 F16 KV，而 MTP + 大上下文需 q8_0 KV，两者不能同时满足；SYCL_CACHE_PERSISTENT=1 在 Xe2 上首次 JIT 会段错误；裸机构建可能因 Intel 驱动版本问题初始化失败；作者声明这是社区项目，使用风险自负，建议在自己的工作负载上充分测试。

许可证

MIT

最近推送

2026-09-24 10:01

资料检查：2026-09-25 07:00 · 卡片整理：2026-09-26 12:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可在 Intel Arc Pro B70 上通过该 Docker 镜像部署 llama.cpp + SYCL 本地推理服务，用于运行 Qwen3 27B 级别模型并作为编码/Agent 工作负载的本地 LLM 后端；仓库提供构建脚本、运行参数、采样参数与基准测试方法，便于复现和调优。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证