【免费下载链接】InternVL3_5-241B-A28B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-MPO点击查看免费下载本文带你完整走通 InternVL3_5-241B-A28B-MPO 微调 流程。这是 OpenGVLab 开源的 InternVL3.5 系列多模态大模型总参数约 241BMoE 激活 28B在 CPT SFT 基础上又经过 MPOMixed Preference Optimization混合偏好优化阶段训练视觉理解与数学推理能力突出。你将学会使用 SWIFT 和 XTuner 两大主流框架通过 LoRA 低成本定制它的图像理解、OCR、文档解析等能力并掌握从数据准备、训练命令到部署验证的每一步。一、先认识 InternVL3_5-241B-A28B-MPO 模型架构与关键参数InternVL3.5 沿用经典的ViT–MLP–LLM三段式结构。本模型的构成如下组成部分说明视觉编码器InternViT-6B-448px-V2_5约 5.5B 参数45 层语言模型Qwen3-235B-A22BMoE128 个专家每 token 激活 8 个94 层连接模块pixel shuffle 降采样比例 0.5 两层 MLP总参数量240.7B激活参数约 28B对话模板internvl2_5见 config.json精度bfloat16从配置文件 config.json 可以看到几个与微调直接相关的字段max_dynamic_patch: 12单图最多切 12 块高分辨率 tile直接影响显存占用和template: internvl2_5训练与推理必须保持一致。模型权重按 MoE 专家分层存放如layer-0-ep-0-of-1.safetensors至layer-93-ep-0-of-1.safetensors完整索引见 model.safetensors.index.json视觉权重单独存放在 vision.safetensors。MPO 版本意味着什么InternVL3.5 的训练管线为CPT → SFT → Cascade RL其中 Cascade RL 分两阶段离线 RLMPO——本模型即停在这一阶段。MPO 的损失由偏好损失DPO、质量损失BCO、生成损失LM loss加权组合而成详见 README.md在线 RLGSPO——带后缀的完整版本才包含该阶段。MPO 阶段使用的数据为MMPR-v1.2与MMPR-Tiny见 README.md以多模态数学推理为主。因此 MPO 版本的特点很清晰✅推理能力强已经历偏好对齐回答风格比 Instruct 版本更严谨✅适合作微调基座官方开源了各训练阶段的权重方便你在 MPO 基础上继续做领域 SFT 或偏好学习阶段划分详见 README.md⚠️ 如果你追求极限推理效果也可对比无后缀的最终版本做领域定制则从 MPO 版本出发更稳。二、微调前准备硬件、环境与数据 ️硬件需求如何估算README 中给出的参考235B 级别模型推理至少需要 8 张 A100。微调需要额外容纳 LoRA 参数与梯度状态建议按以下梯度规划场景推荐硬件流程验证8B/14B 同系模型1–2 张 A100/H100241B LoRA DeepSpeed ZeRO-32 节点 × 8 卡 A100/H100 起步241B 全参数微调4 节点以上普通团队不建议新手最佳实践先用同家族的InternVL3.5-8B把数据、模板、命令全流程跑通再平移到 241B可节省大量调试时间。环境安装最快配置# 基础依赖transformers 版本必须 4.52.1 pip install torch2.4 transformers4.52.1 accelerate deepspeed # 方案一SWIFT推荐 pip install ms-swift[all] # 方案二XTuner pip install xtuner[deepspeed]如需浏览本仓库的源码与配置文件可克隆仓库git clone https://gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-MPO加载该模型时需开启trust_remote_codeTrue因为模型结构由仓库内自定义代码实现modeling_internvl_chat.py 定义了InternVLChatModelmodeling_intern_vit.py 定义了视觉编码器对话模板逻辑在 conversation.py 中。训练数据格式多模态 JSONLSWIFT 与 XTuner 通用的 messages 格式每条样本一行 JSON{messages: [{role: user, content: image请识别图中表格并输出结论}, {role: assistant, content: 识别结果……}], images: [data/img_001.jpg]}注意image占位符的写法框架会将其替换为模型内部的图像 token。模型在推理时正是通过img…IMG_CONTEXT…/img序列注入视觉特征的对应实现见 modeling_internvl_chat.py。多轮对话时按 user/assistant 顺序追加即可。三、方案一SWIFT 微调新手推荐SWIFTms-swift对 InternVL 系列有官方支持配置最少、启动最快是微调多模态模型的首选入口。一条命令启动 LoRA 训练CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7 \ swift sft \ --model OpenGVLab/InternVL3_5-241B-A28B-MPO \ --train_type lora \ --lora_rank 16 \ --lora_alpha 32 \ --dataset your_data.jsonl \ --torch_dtype bfloat16 \ --deepspeed zero3 \ --max_length 8192 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 8 \ --learning_rate 1e-4 \ --save_steps 100要点说明--deepspeed zero3241B 级别的 MoE 权重必须靠 ZeRO-3 切分到多卡不可省略模板template与model_type命名请以 SWIFT 官方文档为准不同版本对 InternVL3.5 的命名可能不同核心原则是与 config.json 中的internvl2_5模板对齐本模型的 configuration_internvl_chat.py 中保留了use_backbone_lora/use_llm_lora两个字段默认均为 0说明架构层面为视觉端与语言端分别加 LoRA 预留了接口可按需扩展。关键参数怎么选参数推荐值说明train_typelora全参数微调成本极高LoRA 性价比最高lora_rank16–64领域跨度越大rank 可越高learning_rate1e-4 ~ 5e-5LoRA 常用量级freeze_vit按需开启图像分布与通用场景接近时可冻结视觉塔省显存且更稳max_length4096–8192图像 token 会占用大量长度长样本注意显存deepspeedzero3多卡切分权重与优化器状态四、方案二XTuner 微调MoE 深度定制⚙️XTuner 是面向 MoE 大模型训练的工具链配置即代码适合需要精细控制专家层、冻结策略的场景。XTuner 配置文件编写要点参考 XTuner 仓库中 InternVL 系列的现成配置把模型路径替换为本 checkpoint核心结构LoRA target modules注意力投影 MoE 专家层 DeepSpeed ZeRO-3 策略MoE 模型建议保持 bf16 存储专家权重只对 LoRA 参数使用 fp32 优化器状态。# 训练 xtuner train configs/your_internvl3_5_lora.py # 训练完成后合并 LoRA 权重 xtuner merge-weights \ --model OpenGVLab/InternVL3_5-241B-A28B-MPO \ --adapter checkpoints/your_ckpt \ --merged-dir checkpoints/mergedSWIFT 用户对应使用swift export --merge_lora true完成同样的合并操作。五、训练后验证与部署 三步快速验证微调效果样例回归用少量覆盖不同任务描述、OCR、数学的样本跑推理确认能力没有回退模板一致性确认推理侧对话模板仍为internvl2_5否则输出格式会异常基线对比同批样本分别过微调前后权重人工比对回答质量。可直接调用模型自带的chat接口做验证实现见 modeling_internvl_chat.py视觉特征提取pixel shuffle MLP 连接在 modeling_internvl_chat.py。生产部署微调完成后推荐两种服务化方式详见 README.md# LMDeploy 一键起 OpenAI 兼容服务241B 需 tp8 lmdeploy serve api_server OpenGVLab/InternVL3_5-241B-A28B-MPO \ --server-port 23333 --tp 8 --backend pytorchvLLM 同样可用启用 Thinking 模式时建议do_sampleTrue、temperature0.6可减少重复输出。六、常见问题 FAQ ❓Q1训练时显存爆掉OOM怎么办按顺序尝试开启梯度检查点 → 降低max_length→ 把图像 tile 数从 12max_dynamic_patch降到 4 → 冻结视觉编码器 → 减小 batch 并加大梯度累积。Q2为什么微调后回答格式乱了九成是训练/推理对话模板不一致。本模型模板为internvl2_5config.json两边必须严格一致。Q3MPO、Instruct、最终版三个 checkpoint 选哪个做基座领域指令跟随选Instruct对齐最轻追求推理质量与回答严谨性选MPO本模型追求综合上限选无后缀最终版。Q4MoE 模型微调会不会破坏专家路由LoRA 只微调低秩增量专家路由128 专家选 8的分布基本不受影响建议训练后抽检路由辅助损失与输出多样性避免回答趋于模板化。小结微调 InternVL3_5-241B-A28B-MPO 的核心思路是——用小规模同系模型验证流程 → 准备 messages 格式的多模态数据 → SWIFT 或 XTuner 搭配 ZeRO-3 做 LoRA 训练 → 合并权重后回归验证并服务化部署。掌握这套流程后你就能把这个开源旗舰多模态模型改造成贴合自己业务的专属视觉助手。赞分享【免费下载链接】InternVL3_5-241B-A28B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-MPO点击查看免费下载相关推荐如何用SWIFT和XTuner微调InternVL3_5-30B-A3B-MPO多模态大模型微调完整工作流如何用SWIFT和XTuner微调InternVL3_5 30B A3B MPO多模态大模型微调完整工作流 想用 SWIFT 和 XTuner 对 InterInternVL3_5-1B-Instruct微调指南用SWIFT与XTuner定制专属多模态助手InternVL3_5 1B Instruct微调指南用SWIFT与XTuner定制专属多模态助手 InternVL3_5 1B Instruct 是InternVL3_5-8B-Flash微调实战SWIFT与XTuner多模态微调全流程指南InternVL3_5 8B Flash微调实战SWIFT与XTuner多模态微调全流程指南 InternVL3_5 8B Flash 是 InternVL3上一篇六音音源完整修复方案洛雪音乐兼容性问题彻底解决下一篇六音音源修复完美解决轻松上手洛雪音乐音源问题创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考