OpenFlowLM：面向 Ryzen AI NPU 的开源 NPU 内核 LLM 推理运行时
Atomic-Germ/OpenFlowLM-Next · Active and open development fork of FastFlowLM.
OpenFlowLM 是 FastFlowLM 的社区分支，用本仓库内从源码构建的开源 AIE 内核替代原项目的闭源 NPU 内核，面向搭载 XDNA2 NPU 的 AMD Ryzen AI 系列芯片提供 NPU 优先的推理运行时，可运行 LLM、嵌入模型和 MoE 模型，无需 GPU。项目提供单命令 CLI（run、serve、list、bench），支持 OpenAI 兼容 API，并用 GGUF 与 Q4_K 容器格式加载权重。开源内核覆盖 Qwen3.6-MoE、Qwen3.5、Qwen3、Qwen2.5、Llama 3、Gemma 3、Phi-3/4、LFM2、HunYuan、Granite 等模型族，另通过 src/open_npue 提供第二个嵌入后端。视觉、音频以及 Gemma 4、GPT-OSS、Whisper 等尚无开源内核设计，仍调用上游闭源引擎二进制。
展开详情收起详情：OpenFlowLM：面向 Ryzen AI NPU 的开源 NPU 内核 LLM 推理运行时
评论 · 分享第一个看法