【免费下载链接】verl-omniMultimodal RL training framework for diffusion omni models项目地址https://gitcode.com/gh_mirrors/ve/verl-omni点击查看免费下载本文带你用VeRL-Omni多模态强化学习训练框架对Qwen3-Omni 全模态模型进行 RL 后训练逐一解析 GSPO、DAPO、DPO 三套官方训练配方从数据准备、一键启动脚本到验证指标与显存配置帮助你在 4 张 H800 上跑通多模态 RL 全流程。为什么选择 VeRL-Omni 做多模态 RL 后训练VeRL-Omni 是一个专注于多模态生成式模型的 RL 训练框架基于verl构建核心解决三类模型的强化学习后训练问题Diffusion 生成模型Qwen-Image、Wan2.2 等文生图/视频/音频模型统一理解生成模型BAGEL 等全模态模型Qwen3-Omni同时处理文本、图像、音频、视频对 Qwen3-Omni-30B-A3B 的 Thinker 部分官方提供了三套已验证的算法配方覆盖在线生成→打分→更新的完整 RL 闭环和离线偏好对的对齐路线配方算法数据来源适用场景官方入口GSPO序列级策略梯度 GRPO 优势在线 rollout 规则奖励数学/视觉/音视频推理任务examples/gspo_trainer/README.mdDAPOtoken 级策略损失 非对称裁剪在线 rollout 选择题奖励多模态选择题AVQA稳定训练examples/dapo_trainer/README.mdDPO离线直接偏好优化Omni-Preference 偏好对图像/视频/音频偏好对齐examples/dpo_trainer/README.md下面这张架构图展示了 VeRL-Omni 的整体分层上层是算法训练器FlowGRPO、Omni-PPO、DPO中层是 Actor 引擎与 TransferQueue 训练系统下层由 vLLM-Omni 负责多模态 rolloutReward Engine 对生成结果进行视觉/音频打分。GSPO 配方一条命令覆盖 4 种模态任务GSPOGroup Sequence Policy Optimization配方是 Qwen3-Omni 的主力在线 RL 配方官方提供了 4 种输入任务全部复用同一套 GSPO loss GRPO 优势估计只切换数据集和奖励函数任务模态输入数据集启动脚本数学推理文本 → 文本GSM8Krun_qwen3_omni_thinker_gspo_lora_v1.sh视觉数学图像 → 文本MMK12run_qwen3_omni_thinker_gspo_lora_mmk12_v1.sh音视频问答文本图像音频 → 文本AVQA-R1-6Krun_qwen3_omni_thinker_gspo_lora_avqa_v1.sh视频问答视频帧音轨文本 → 文本NExT-QANPU 全参run_qwen3_omni_thinker_gspo_npu_nextqa_v1.sh三步跑通 GSM8K 数学任务安装环境在 安装指南 的基础上追加 omni 与 flash attention 2 依赖uv pip install -e .[omni,fa2]准备数据用 verl 的 GSM8K 转换脚本生成~/data/gsm8k/{train,test}.parquet。启动训练4 × H800 80GBLoRA r32bash examples/gspo_trainer/qwen3_omni/run_qwen3_omni_thinker_gspo_lora_v1.sh脚本采用默认值 CLI 覆盖的 Hydra 配置模式任何参数都能在命令行直接覆盖无需改脚本例如MODEL_PATH/local/Qwen3-Omni-30B-A3B-Instruct \ bash examples/gspo_trainer/qwen3_omni/run_qwen3_omni_thinker_gspo_lora_v1.sh \ trainer.total_epochs10 actor_rollout_ref.actor.optim.lr2e-6只训练 ThinkerLoRA 精准打点所有 GSPO/DAPO 配方都遵循同一个参数策略——只训练 Thinker 的语言主干冻结其余模块LoRA rank 32 / alpha 64挂在q_proj/k_proj/v_proj/o_proj四个注意力投影上exclude_modules剔除 Talker、code2wav、code_predictor、visual、audio_towerfreeze_vision_towerTrue冻结视觉编码器模型适配逻辑由注册好的 V1 adapter 处理verl_omni/pipelines/qwen3_omni/thinker_training_adapter.py自动把前向重定向到 Thinker无需手写 monkey-patch。多模态数据如何接入音频/视频任务需要音频感知的数据集类。以 AVQA文本图像音频四选一问答为例先用转换器生成 parquetpython examples/gspo_trainer/data_process/avqa.py \ --input_dir /path/to/AVQA_R1 --output_dir ~/data/avqa_r1_6k关键配置三处data.custom_cls指向 QwenOmniRLHFDataset解析audio占位符并加载 WAV、采样率 16000、以及 colocated 场景下的 rollout 显存调优gpu_memory_utilization0.7、prompt_length4160等详见 omni 模型集成指南。奖励函数统一从响应中提取answer…/answer标签做精确匹配打分实现见 verl_omni/utils/reward_score/choice_reward.py。官方验证的性能与健康信号官方在单节点 4 × H800LoRA r32batch 128 × rollout.n 16上的结果任务验证指标最终值rollout↔actor 概率 Pearson显存峰值GSM8Kval acc10.9710.998~43 GBMMK12val reward10.8110.998~59 GBAVQA-R1-6Kval reward10.8770.996~46 GB训练中值得盯的健康信号training/rollout_actor_probs_pearson_corr应 0.995训练与推理权重同步正确性的核心指标、rollout_corr/log_ppl_diff接近 0、actor/grad_norm落在 1e-3~1e-2 且不 OOM。DAPO 配方token 级策略损失的稳定化选择DAPO 配方是 Qwen3-Omni 上的首个 DAPO 里程碑定位是Phase 1 基线token 级 vanilla 策略损失 非对称裁剪clip_ratio_low0.2/clip_ratio_high0.28即 clip-higherGRPO 优势估计不加 KL 惩罚use_kl_in_rewardfalse、use_kl_lossfalse刻意关闭动态采样algorithm.filter_groups.enablefalse与超长奖励缓冲以便独立验证 token 级策略路径启动方式与 GSPO 一致使用 AVQA 数据bash examples/dapo_trainer/qwen3_omni/run_qwen3_omni_thinker_dapo_lora_v1.sh启动脚本 中可以看到完整的 DAPO 配置面动态 batchppo_max_token_len_per_gpu20480、FSDP2 参数/优化器 offload、vLLM-Omni rolloutTP2、AR 输出模式、prefix caching 关闭、贪心解码验证每 10 步一次。LoRA 打点、冻结模块、奖励函数与 GSPO 基线完全对齐方便横向对比。 经验法则GSPO 的序列级裁剪在多模态长响应下更稳DAPO 的 token 级裁剪对格式遵循如answer标签更敏感可先跑 GSPO 再试 DAPO 对比曲线。DPO 配方离线偏好对齐 Qwen3-Omni没有在线 rollout 预算时可以直接走离线 DPO。官方支持基于Omni-Preference数据集约 4.1 万对图像/视频/音频偏好对训练 Thinker-only LoRA数据准备按 Omni-Preference 数据指南 将数据集转换为三种模态各自的 parquet每行是一个[chosen, rejected]偏好对含多模态 prompt、win_score/lose_score。启动训练DATA_DIR/path/to/Omni-Preference/parquet_dpo \ MODEL_PATH/path/to/Qwen3-Omni-30B-A3B-Instruct \ bash examples/dpo_trainer/qwen3_omni/qwen3_omni/run_qwen3_omni_omni_preference_lora.sh关键配置见 omni_trainer.yamlalgorithm.sample_sourceofflinepaired_preferencetrue不启动 rollout 与 reward worker直接读偏好对actor_rollout_ref.actor.omni_loss.*DPO 的beta默认 0.1、loss_typesigmoid、label_smoothing等LoRA 扩展覆盖注意力与 MoE 模块q/k/v/o_projgate_up_proj/down_projrank 32 / alpha 64ModalityGroupedBatchSampler保证每个 batch 单模态配合按模态均衡的验证采样官方在 4 × H800 上验证验证准确率 0.907、偏好 margin 0.843单步吞吐约 1.35 samples/card/s。模型质量层面仓库还附带 VLM-as-judge 评估流水线examples/dpo_trainer/qwen3_omni/vlm_as_judge.py支持 reference/trained/judge 三阶段可断点续跑的对比评估。训练监控与性能剖析小贴士验证曲线在线配方绘制val-core/任务名/reward/mean1随 step 变化DAPO 默认贪心解码验证曲线可直接横向对比日志启动脚本已配置 console WB/TensorBoardNPU 全参配方额外落盘 TensorBoard events 与运行日志性能剖析遇到 rollout 与 actor 时间分配异常时可用 Nsight Systems 对齐控制器与 worker 时间线观察 rolloutgenerate与 actor update 的间隔是否重叠合理参考 性能剖析文档核心文件清单路径说明examples/gspo_trainer/README.mdGSPO 完整指南4 种任务 性能数据examples/dapo_trainer/README.mdDAPO Phase 1 配方说明examples/dpo_trainer/README.mdDPO 三种工作流含 Qwen3-Omni 离线 DPOverl_omni/trainer/main_omni.pyomni 训练入口verl_omni.trainer.main_omniverl_omni/trainer/config/omni_trainer.yamlomni 训练器默认配置verl_omni/utils/reward_score/choice_reward.py多模态选择题奖励函数docs/contributing/integrating_an_omni_model.md接入新 omni 模型 / rollout 显存调优指南总结VeRL-Omni 把 Qwen3-Omni 全模态 RL 后训练拆成了三条清晰路线有奖励信号选 GSPO/DAPO在线 rollout 规则打分有偏好数据选 DPO离线对齐。三套配方共享同一套 Thinker-only LoRA 参数策略与 V1 训练器数据、奖励、启动脚本均可通过环境变量和 Hydra 覆盖快速定制。4 张 H800 即可跑通 LoRA 版多模态 RL16 卡 Ascend NPU 则支持全参数训练——从 GSM8K 到 NExT-QA 视频问答一条命令切换任务模态这就是 VeRL-Omni 在多模态后训练上的核心价值。赞分享【免费下载链接】verl-omniMultimodal RL training framework for diffusion omni models项目地址https://gitcode.com/gh_mirrors/ve/verl-omni点击查看免费下载相关推荐Sana × Cosmos-RL 后训练实战图像与视频扩散模型的 SFT / RL 配置、训练与本地实现解析Sana × Cosmos RL 后训练实战图像与视频扩散模型的 SFT / RL 配置、训练与本地实现解析 本指南以 docs/sana_cosmos_rl人工智能大模型媒体生成预训练微调LoRA视频verl 强化学习训练实战指南基于 HybridFlow 的 PPO/GRPO 大模型后训练verl 强化学习训练实战指南基于 HybridFlow 的 PPO/GRPO 大模型后训练 verlVolcano Engine ReinforcemenAI 技能人工智能大模型深度学习fragments 安装配置指南:10 分钟跑通 AI 应用生成器fragments 安装配置指南:10 分钟跑通 AI 应用生成器 fragments 是 E2B 开源的 Next.js 模板,把一句话需求变成能直接运行的应AI 应用大模型代码生成前端后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考