GRPO

VeRL-Omni：面向扩散模型与全模态模型的强化学习训练框架

verl-project/verl-omni · Multimodal RL training framework for diffusion & omni models

VeRL-Omni 是构建在 verl 之上的通用强化学习训练框架，专注于多模态生成模型的后训练。它覆盖扩散生成模型（图像、视频、音频，如 Qwen-Image、Wan2.2）、统一多模态理解与生成模型（如 BAGEL、HunyuanImage-3.0）以及全模态模型（如 Qwen3-Omni）。框架提供基于 vLLM-Omni 的快速多模态 rollout、多奖励与异步奖励服务、可选的 VeOmni 与 FSDP2 训练后端，以及 FlowGRPO、DiffusionNFT、Diffusion DPO、GSPO、GRPO 等算法集成，并支持 Ascend NPU。