OpenFlowLM：面向 Ryzen AI NPU 的开源 NPU 内核 LLM 推理运行时

Atomic-Germ/OpenFlowLM-Next · Active and open development fork of FastFlowLM.

GitHub原文发布未知首次收录 2026-10-18上架 2026-10-31 07:04

ELI5：它是什么，解决什么问题

OpenFlowLM 是 FastFlowLM 的社区分支，用本仓库内从源码构建的开源 AIE 内核替代原项目的闭源 NPU 内核，面向搭载 XDNA2 NPU 的 AMD Ryzen AI 系列芯片提供 NPU 优先的推理运行时，可运行 LLM、嵌入模型和 MoE 模型，无需 GPU。项目提供单命令 CLI（run、serve、list、bench），支持 OpenAI 兼容 API，并用 GGUF 与 Q4_K 容器格式加载权重。开源内核覆盖 Qwen3.6-MoE、Qwen3.5、Qwen3、Qwen2.5、Llama 3、Gemma 3、Phi-3/4、LFM2、HunYuan、Granite 等模型族，另通过 src/open_npue 提供第二个嵌入后端。视觉、音频以及 Gemma 4、GPT-OSS、Whisper 等尚无开源内核设计，仍调用上游闭源引擎二进制。

# gguf # LLM 推理 # NPU # Ryzen AI # 开源内核

核心能力与快速开始

★ 35 · C++

能做什么: 面向 AMD Ryzen AI XDNA2 NPU 的本地推理运行时；以本仓库源码构建的开源 AIE 内核替代闭源 NPU 内核；支持 LLM、嵌入模型与 MoE 模型；提供 oflm run、serve、list、bench 命令；serve 可启动 OpenAI 兼容 API；支持 GGUF 与 Q4_K 权重容器；支持长上下文（最高 256k token，取决于模型）；提供 open_npue 第二嵌入后端；通过 CMake 预设从源码构建（Linux、Fedora、Windows、便携版、Docker 构建），并可使用 Docker Compose 运行 API。
适用场景: 在 AMD Ryzen AI 笔记本或主机的 NPU 上本地运行 LLM 与嵌入模型；以 OpenAI 兼容接口为上层应用提供本地推理服务；在受支持的模型族上使用开源 NPU 内核进行推理与研究；通过 oflm bench 做基准测试；以 Docker 方式部署推理 API。
项目形态: 可直接使用的工具
部署方式: 本地源码构建（CMake 预设）或 Docker/Docker Compose；需要 NPU 驱动 32.0.203.304 或以上版本；Docker 场景需要宿主安装 AMD XDNA 驱动并暴露 /dev/accel/accel0 设备；未说明云托管方式。
主要依赖: 需 AMD Ryzen AI 芯片并带 XDNA2 NPU（Strix、Strix Halo、Kraken、Gorgon Point）；NPU 驱动 32.0.203.304 或以上；Git、CMake 3.25 或以上、C++20 编译器、Ninja；构建开源内核需宿主安装 XRT（含 pyxrt，Python 3.11）、内核工具链 ironvenv（mlir-aie 与 Peano，构建脚本会自动创建）、third_party/mlir-aie（自动克隆）；BERT 嵌入设计集导出时构建宿主需有 NPU。
使用限制: 仅面向 AMD Ryzen AI XDNA2 NPU，不支持 GPU 或其他 NPU；并非所有模型都使用开源内核，视觉、音频以及 Gemma 4、GPT-OSS、Whisper 系列尚无开源设计，仍调用上游闭源引擎二进制；保留的闭源二进制内核版权归上游 FastFlowLM，不由本仓库再分发；一键导出脚本 utilities/export-kernels.py 仅在 Linux 可用；长上下文上限取决于具体模型；硬件性能、功耗和 API 成本未说明。
许可证: MIT
最近推送: 2026-10-18 06:46

核对 README 依据 ↗

资料检查：2026-10-18 07:00 · 卡片整理：2026-10-31 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在搭载 XDNA2 NPU 的 AMD Ryzen AI 设备上本地运行 LLM、嵌入模型和 MoE 模型，并通过 OpenAI 兼容 API 或 CLI（run、serve、list、bench）接入开发与测试流程，无需 GPU。

查看内容依据

Run LLMs, embedding models and MoE models on **AMD Ryzen™ AI NPUs** -- no GPU required.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

local-inference-setup：本地语言模型自包含启动器的声明式配置

该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。

llamadart：面向 Dart 与 Flutter 的跨平台端侧大模型推理

llamadart 为 Dart 与 Flutter 应用提供统一的端侧大语言模型推理 API，可在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型通过 llama.cpp 加载，.litertlm 模型通过 LiteRT-LM 加载；支持流式对话、工具调用、多模态投影、结构化 JSON 输出、嵌入、LoRA、状态持久化、语音识别与合成等能力，Web 支持处于实验阶段。

Nexus Adapter Studio：在浏览器 WebGPU 中为 GGUF 模型训练 LoRA 适配器

Nexus Adapter Studio 是一个实验性的浏览器 WebGPU 应用，用于在受支持的 GGUF 模型上训练和评估 LoRA 适配器。用户自带模型和 JSONL 语料，在训练前进行架构、分词器、张量格式与内存检查，并可导出可恢复的 Nexus 适配器检查点。浏览器版将界面、JavaScript、CSS 与 WGSL 内核打包为单个 HTML 文件，无需 Python 或 PyTorch 后端；另提供需完整下载、基于 PyTorch 的原生后端。项目不内置基础模型，兼容性需由用户输入实际满足，验证仅限于界面启动、前端与包完整性检查，不代表完整模型正确性或真实硬件性能。

tinyforge：在 4 GB 笔记本 GPU 上微调 8B 级小语言模型并做质量门禁与本地服务

tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具，提供数据准备（文档切分、问答对生成、PII 扫描）、LoRA/QLoRA 训练、显存规划、微调前后对比评测（含遗忘检查与失败退出）、GGUF 导出以及 OpenAI 兼容服务端，并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例，同时作者声明项目处于早期 alpha、单 GPU 场景。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。