VeRL-Omni：面向扩散模型与全模态模型的强化学习训练框架

核心能力与快速开始

★ 1200 · Python

能做什么

面向多模态生成模型的 RL 后训练框架，涵盖三类模型：扩散生成模型（Qwen-Image、Wan2.2、LTX2.3、MiniMax-H3、SD3.5 等）、统一理解+生成模型（BAGEL、HunyuanImage-3.0）、全模态模型（Qwen3-Omni-Thinker、Qwen3-TTS）。集成 FlowGRPO（含 CPS/SDE 与 DiNa-LRM）、Flow-DPPO、MixGRPO、GRPO-Guard、DiffusionNFT、Diffusion DPO、DiffusionOPD、DanceGRPO、GSPO、DAPO、DPO 等算法。采用 vLLM-Omni 作为 rollout 后端，支持 rollout 路由、rollout 批处理、embed 缓存优化；支持多奖励服务（HPSv3、GenRM-OCR、UnifiedReward 等）、HTTP scorer 与异步奖励计算；提供可选 VeOmni 与 FSDP2 训练后端及 USP/TP/DP 组合并行；通过 rollout correction 跳过 logP 重算，并支持确定性 RL；以 Hydra 配置组合奖励、rollout 与 actor 更新。

适用场景

用于对扩散图像/视频/音频生成模型、统一多模态理解与生成模型、全模态模型进行强化学习后训练与对齐；示例包括使用 FlowGRPO 优化 Qwen-Image 文本渲染准确率、用 DanceGRPO 训练 Wan2.2 视频生成；支持离线 DPO、on-policy 蒸馏（含多教师 MOPD）等训练范式；可在 Ascend NPU 上运行 FlowGRPO 训练。

项目形态

开发框架

部署方式

未说明；README 提供 Installation 与 Quickstart 文档入口，以及 Ascend NPU 上的 FlowGRPO 快速开始指南，但未给出具体部署条件。

主要依赖

未说明；README 仅提及依赖 verl、vLLM-Omni，以及可选的 VeOmni、FSDP2 训练后端与 GPU/NPU 加速（如 FA3 注意力后端），未列出具体硬件或环境要求。

使用限制

未说明；README 提到部分模型/算法状态为 Planned（HunyuanImage-3.0 的 MixGRPO、SRPO）或 WIP（Qwen3-TTS 的 DPO、GSPO），v0 训练器已弃用（离线 DPO 仍保留 v0）。未说明 API 成本或商用限制。

许可证

Apache-2.0

最近推送

2026-10-09 00:54

资料检查：2026-10-09 07:00 · 卡片整理：2026-10-09 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为构建在 verl 之上的强化学习训练框架，程序员可用它进行扩散模型与全模态模型的后训练：使用 vLLM-Omni 快速多模态 rollout、多奖励与异步奖励服务、VeOmni 与 FSDP2 训练后端，以及 FlowGRPO、DiffusionNFT、Diffusion DPO、GSPO、GRPO 等算法集成，并支持 Ascend NPU。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证