从预训练到偏好对齐大模型的训练链路被拆成了至少五个相对独立的阶段。我常跟人讲这五个阶段就像流水线预训练让模型拥有语言常识增量预训练给模型补行业课监督微调教会它对答格式奖励模型训练锻造出“偏好裁判”最后的偏好对齐则把“讨人喜欢”变成一种固化的策略能力。这篇文章不聊空泛的概念直接把五种主流训练方法拆开揉碎讲清楚每一步在干什么、参数怎么定、坑在哪里适合从零搭过训练流程、准备微调底座模型或者想彻底搞懂 RLHF 和 DPO 区别的工程师参考。1. 训练链路全景先弄清楚五种方式的关系1.1 五种训练方式不是并列关系是流水线关系很多人容易误以为预训练、微调、对齐是三种并列的“可选方案”实际上它们是强依赖的先后工序。预训练产出的底座模型已经掌握了语言语法、世界知识和推理雏形但它只会“续写”不会“回答问题”。监督微调让模型学会指令-回答的对话格式但学到的只是表面行为模式还谈不上“价值观对齐”。奖励模型负责给生成结果打分把人类偏好变成可优化的数值信号而最后的偏好对齐RLHF 或者 DPO才真正把“被认可的生成策略”固化成模型的内部参数。我把这条链路比作培养一个新人预训练是通识教育增量预训练是专业培训监督微调是告诉他“汇报工作要按格式来”奖励模型是给他配一个能判断“做得好不好”的师傅偏好对齐则是让他把师傅的评判标准内化成自己的工作习惯。前一步的输出就是后一步的输入中间任何一步的数据污染都会像滚雪球一样传导到下游。1.2 为什么顺序基本不能乱我见过有团队试图跳过 SFT 直接做 RLHF理由是“反正 RLHF 会纠正行为”。实际跑起来发现模型连对话格式都没掌握RLHF 的探索空间巨大PPO 的 rollback 阶段采样出来的回答几乎全是乱码Reward Model 根本无处下分。RLHF 的前提是策略模型已经懂得“如何说话”对齐负责“说什么更讨喜”这是两件不同的事。另一个常见误区是在预训练之前混入大量偏好数据。偏好数据本质上是“人类筛选过的子集”用它继续预训练会把模型的语言分布压窄导致通用能力严重受损。我见过一个场景某团队把 RLHF 的样本拿去做二次预训练结果模型在通用问答上的困惑度直接上涨了 30% 以上。顺序不是约定俗成而是每一阶段的优化目标决定的——先用无监督数据学通识再用人工标注数据学行为最后用偏好信号学价值观。1.3 资源消耗的分水岭这五种方式对算力的要求完全不是一个量级。预训练和增量预训练属于“重工业”动辄上千张加速卡连续跑几周适合机构和头部公司从监督微调开始门槛骤降单机多卡就能跑奖励模型训练和偏好对齐在几十张卡的规模下完全能搞定DPO 甚至可以在有限算力环境里完成一轮有效迭代。我列个速查表方便你对号入座训练方式输入数据产物典型算力量级适合谁预训练海量无标注语料底座模型千卡级以上、数周机构/大型团队增量预训练领域语料通用语料混合适配领域的底座百卡级以上、数天到数周有垂直领域需求的团队监督微调 SFT指令-回答对能“听话”的模型数十卡、几小时到几天绝大多数应用团队奖励模型训练排序/成对偏好数据Reward Model数十卡、几小时到几天准备做对齐的团队偏好对齐偏好数据策略模型对齐后的模型数十卡、数天需要提升输出质量的团队2. 预训练给模型装上“语言操作系统”2.1 预训练到底在学什么预训练的核心目标用一句话概括给定前文预测下一个 Token。这句话听起来简单到令人怀疑但大规模重复之后模型却能涌现出语法、事实知识、推理链甚至 few-shot 能力。我比较喜欢的解释是预测下一个 Token 本质上是在建模“世界如何接续”语言是世界运转的一种投影所以模型学到的不只是词汇搭配而是大量隐含常识。损失函数就是交叉熵优化目标是让模型给正确 Token 分配更高的概率。训练中你会持续观察两个指标loss 和 PPL困惑度。PPL 可以粗略理解为模型对文本预测的“平均惊讶程度”PPL 越低代表模型对语料的拟合越充分。不过我要提醒一点PPL 并不是越低越好。训练集 PPL 压到极低往往意味着过拟合到了训练数据的模式上评估集上的 PPL 才是更值得盯的指标。2.2 全流程关键参数怎么定预训练不是直接把所有文本倒进模型就行数据配比是第一步。我常用的配比大致是通用网页语料 50%、百科与书籍 20%、代码 15%、论文与技术文档 10%、其他结构化数据 5%。代码数据比重不能太低它对推理能力的贡献比多数人想象中更大道理也很直白——代码本身是严格语法约束下的“逻辑文本”比日常语言更有结构信息。Tokenizer 也需要单独训练词表大小在 32K 到 256K 之间徘徊取决于语言种类和训练语料规模。中文场景下我倾向于把词表稍微放大因为中文字符组合太多词表太小容易把语义单元切碎。超参数上我偏向这么起步峰值学习率 3e-4预热 2000 步采用余弦退火批次大小按 Token 数计算通常单批次 0.5M 到 4M Tokens 不等。所谓“按 Token 计算批次”是因为模型参数量不同同样一条样本的算力消耗天差地别用样本条数定批次没有意义。2.3 底层并行策略预训练必须是分布式训练。我把它拆成三件事数据并行、张量并行、流水线并行。数据并行相当于多个人读同一本书的不同副本但模型太大单卡显存放不下所以要把模型本身切开——张量并行就是切开模型的一层多人合力算完一层流水线并行则是按层切段像工厂流水线一样不同加速卡负责不同层段的计算。工程实现上最常用的是 ZeRO 优化器状态切分。我习惯用 ZeRO-2 或者 ZeRO-3 配合流水线并行混合精度上用 BF16 居多因为 BF16 的动态范围比 FP16 大能显著减少大模型训练里常见的 loss spike。梯度检查点activation checkpointing务必要开它用重计算换显存通常能把激活值显存占用降到原来的三分之一以下。显存估算有个常用公式模型参数占 2 字节/参数FP16梯度又占 2 字节/参数优化器状态Adam 的动量方差还要占 8 字节/参数此外再加激活值。所以一个 7B 模型单卡整份跑光参数就要约 22812 字节 × 7B 84GB这还没算激活值一张卡肯定放不下这就是必须分布式切分的原因。2.4 预训练遇到最多的三个坑第一个坑是 loss spike。训练中 loss 突然从 2.1 飙到 2.8然后慢慢回落。我排查这类问题的第一反应是抓出触发 spike 的那批数据。大量实践证明spike 的根源通常是数据质量异常比如某个网页语料被 HTML 标签污染或者一段文本出现大量重复的乱码模型被“带偏”了。处理方式是先把异常数据样本找出来剔除然后加载之前的 checkpoint 跳过那一步而不是让它硬抗过去。第二个坑是语料重复。包含大量重复文本的数据集会让模型在生成时出现明显复读机倾向——训练时 loss 很低生成时反复绕同一句话。解决办法是在预训练前做全局去重尤其是对网页抓取的数据。第三个坑是训练中期 loss 不再下降。多数情况不是模型问题而是语料难度曲线安排不合理。我见过最简单有效的做法是课程学习先让模型学相对规整的书籍和百科语料再逐步引入噪声较高的网页文本曲线会比一律混着喂更平滑。3. 增量预训练给底座模型补“行业课”3.1 什么时候才需要增量预训练增量预训练也叫持续预训练或领域预训练典型应用场景是金融、法律、医疗这类垂直领域。底座模型学的是通用语料对专业行话、行业背景、政策条款的覆盖有限直接 SFT 虽然能教会模型“用术语说话”但底座本身不具备相应知识硬靠 SFT 就变成“背书式回答”一旦换个问法就露馅。所以判断标准很简单如果模型对领域问题的“知识空白”大于“表达空白”就需要增量预训练如果它本来懂只是说话不专业那就直接 SFT 够了。我见过最典型的反面案例是某团队拿通用模型直接做法律问答 SFT结果对于新出的司法解释相关提问模型一本正经地编造法条这就是底子缺课SFT 补不了。3.2 补课的核心操作增量预训练的关键是“不能把旧知识忘了”。我的做法是把新领域语料和通用语料按 1:1 到 7:3 的比例混合后一起训练比例取决于领域差异程度。领域越特殊通用语料保留比例越高否则模型会迅速向领域分布偏移出现“只懂法律、不懂常识”的倒挂现象。学习率要比预训练低一个数量级我通常设置在 1e-5 到 3e-5 区间。为什么必须低因为增量阶段模型已经在比较陡峭的局部最优附近学习率太大会直接把它推出原来的损失谷底表现为灾难性遗忘——新知识学会了旧知识大面积丢失。训练轮数控制在 1 到 2 个 epoch 就够数据量一般几十亿 token 量级跑太多反而过拟合领域数据。我还习惯同时准备多份评估集通用能力评估集、领域理解评估集、领域生成质量评估集。每隔一定步数分别跑一遍只要通用评估集的分数开始明显下滑就要调低新领域数据比例或学习率。这个监控机制比单纯看 loss 可靠得多loss 下降不能告诉你“旧知识正在流失”。3.3 一个务实提醒别执着于增量预训练在动手之前先冷静算一笔账。增量预训练通常需要几十到上百张卡连续训多天如果团队的目标只是让模型“在回答时能引用最新资料、能查找内部文档”RAG检索增强生成往往是性价比高得多的方案。增量预训练适合的是知识结构稳定、需要内化到参数里、并且量大到 RAG 检索命中率撑不住的场景。如果领域知识是持续动态变化的把希望寄托在重训上不如外挂检索。4. 监督微调 SFT让模型学会“对答如流”4.1 SFT 教的不是知识而是格式SFT 是整个链路里最容易被低估的一环。很多人以为 SFT 是在教模型新知识其实它最大的作用是“格式对齐”把底座模型从“续写模式”切到“问答模式”。底座模型经过预训练后你给它一句 instruction它大概率会接着往下续写一大段相关但不成格式的文本SFT 用大量“指令-回答”对告诉模型遇到特定格式的输入时要给出特定格式的输出。这也是为什么 SFT 数据量不是越大越好质量才是关键。我见过有人整理了几百万条自动生成的弱相关问答对跑完 SFT 后模型通通变成“正确的废话生成器”——每句话都像回答但信息密度极低。真正有效的 SFT 数据通常几万条高质量人工挑选的数据就够用了关键在于指令全面、回答准确、格式统一。4.2 数据构建的实操经验SFT 数据一般包含三块system 提示、用户指令、标准回答。system 用来设定角色或全局约束指令覆盖问法变体标准回答是期望模型输出的黄金答案。我构建样本时通常会做三件事一是在每一条 seed 数据上人工扩展至少 5 种同义改写增强指令多样性二是刻意加入“不会回答”的样本教会模型识别能力边界三是混入 5% 到 10% 的通用多轮对话数据防止模型只会背书式的单轮输出。数据清洗这一步绝对不能省。我踩过最深的坑是某批数据里的标准回答含有完整推理过程但结尾答案标错了模型 SFT 之后学会了“推理很完整但结论不稳定”的坏习惯人工评估时才发现返工成本极高。所以 SFT 数据的质量校验不能只靠程序必须抽检人工。4.3 超参设置的保守原则SFT 的微调超参比预训练收敛得快epoch 一般 2 到 3 就够了学习率我用 1e-5 到 2e-5 这个区间。为什么 SFT 的 epoch 不能多因为 SFT 数据量远小于预训练语料跑太多轮模型会过拟合到对话模板本身出现严重的“模板腔”——每个回答都结构工整、内容空洞通用知识反而开始遗忘。Batch size 我建议适中偏大通常 64 到 256 条指令样本。批次太小会导致梯度噪声过大大模型微调本来就容易抖动噪声再大就更难收敛。权重衰减保持在一个较小的值比如 0.01 到 0.05主要作用是防过拟合不需要太大。分段学习率也是可以试的技巧。对 Transformer 的不同层设置不同学习率底层学习率小、高层学习率大。理由是底层学到的是通用语言特征改动过多容易破坏底座能力高层更接近输出层直接学习对话格式可以给更高学习率。这个技巧实测有效但并不适合所有场景在数据量充足而显存有限时可以优先忽略它。4.4 SFT 翻车现场我总结了三类高频翻车点每类基本都能从数据侧找到根源第一类回答变短、变模板化。原因通常是 SFT 数据的回答长度分布太集中模型学到了“标准答案就该三句话”。解决方法是故意把部分样本拉长加入多轮展开、分步骤回答。第二类模型动不动拒绝回答。这通常是安全拒答类样本太多我见过有团队把拒答样本配比放到 30%结果正常问题也被拒。一般安全样本控制到 5% 到 8% 比较合适。第三类通用能力不升反降。SFT 跑完模型在通用知识问答上退步这就是前面说的混合通用数据不足。建议 SFT 时把原始预训练语料或通用指令按 20% 到 30% 混进来能明显缓解遗忘问题。5. 奖励模型训练锻造一个“偏好裁判”5.1 为什么非要有奖励模型RLHF 的“R”Reinforcement Learning需要一个奖励信号但生成式任务的正确性很难用规则自动判断。你当然可以让人工对每次生成结果打分可大模型训练一次要采集成千上万条样本人力不可能跟上迭代速度。奖励模型Reward Model就是用人类标注数据训练出来的“打分器”它的功能是输入一段 prompt 和一个模型生成的回答输出一个标量分数表示这个回答在人类偏好维度上的好坏。奖励模型本质上是一个“人类偏好的代理模型”。所以它的准确度直接决定了之后 RLHF 的效果——如果 RM 本身是个糊涂裁判策略模型再努力取悦它最终产出的也是“让糊涂裁判满意”的模型这就是 reward hacking 的一个根源。5.2 偏好数据怎么标训练 RM 不需要绝对分数而是偏好排序。最常见的标注方法是让标注员拿同一个 prompt 生成的多个候选回答做两两比较或整体排序。为什么用排序而不是打分人类的直觉评分方差大今天给 5 分明天给 4 分很正常但对“哪一个更好”的判断相对稳定。这是降低标注噪声的有效手段。标注环节建议留意几个细节设计 tie 选项因为确实存在两个回答差不多好强行二选一只会引入噪声我通常会让标注员在难以区分时选择“差不多”后续数据清洗时权重减半要求标注员写一句话说明理由虽然成本高一点但这种说明是排查 RM 失败时的救命稻草sample 级多样性要做平衡同一个 prompt 的回答不能总是来自同一个 SFT checkpoint不然 RM 学到的只是“某个版本的偏好”。5.3 RM 训练的技术细节RM 一般用 SFT 好的底座模型做初始化然后在输出层之上加一个回归头把最后一个 Token 的隐状态映射成标量分数。损失函数常见的是 Bradley-Terry 模型本质是成对比较的 sigmoid loss正例得分减去负例得分再过 sigmoid 求交叉熵。这里有几个关键经验。第一学习率要比 SFT 更小我用 1e-6 到 3e-6因为偏好信号本来就弱学习率大容易震荡。第二训练步数不能太长RM 非常容易过拟合到偏好数据上表现为训练 loss 降到很低验证集上的准确率却开始下降。第三合理加入 dropout 正则是必须的RM 的过拟合问题比普通分类模型严重得多。第四不同领域的偏好数据不要混着训一个 RM比如代码领域和写作领域的偏好信号差异很大混训出来的 RM 在两边都不准最好是分域训。RM 训练完验证集准确率一般能到 70% 到 75% 以上就算可用了。若准确率只有 60% 上下说明标注噪声太大或偏好分布不明显这时往上做 RLHF 基本是白费劲。6. 偏好对齐从“会答”到“答得好”6.1 RLHF 的整体流程终于到了偏好对齐这个环节。常规 RLHF 以 PPO 为主整个流程涉及四个模型Actor策略模型即要训练的目标模型、Reference参考模型SFT 后的冻结副本、Reward Model前面训好的裁判、Critic价值模型给状态估计价值。有人管这叫“四件套”少了一个都会出问题。流程循环大概是Actor 根据 prompt 采样生成回答Reward Model 给回答打分Reference 用来对比新旧策略的 KL 散度PPO 用奖励信号和 KL 惩罚更新 Actor。这里 KL 散度惩罚的作用是限制 Actor 不要跑偏太快偏离到 Reward Model 的盲区里。如果没有任何约束策略模型很快就会找到奖励函数的漏洞输出模型自认为高分、但人类看着很怪的内容。KL 惩罚就是一个“安全带”越界的代价会直接反映在 loss 上。6.2 PPO 的关键工程细节PPO 里值得重点讲三个参数。第一个是 KL 惩罚系数 beta常见取值 0.02 到 0.05太小意味着“随便漂”太大意味着“几乎不学”。一般我建议从 0.05 起步观察生成分布离 Reference 的漂移幅度再调整。第二个是 GAE 中的 lambda用来权衡优势估计的偏差和方差常用 0.95 附近这个值对训练稳定性影响很大。第三个是 PPO 的 clip 范围常用 0.2让每一步更新的幅度都被锁住避免一次性更新太猛。我自己常用的一组 PPO 填参组合是Actor 学习率 1e-6 到 3e-6Critic 学习率 3e-6 到 1e-5每次 rollout 的样本量 1024 到 4096mini-batch 大小 64 到 256每份经验数据复用 3 到 4 轮更新。注意 RLHF 不用跑很多轮一般几千到几万步就能看到明显的偏好提升跑过头会“过度对齐”表现为模型变得油嘴滑舌任何问题都能套模板夸夸而谈。6.3 DPO不训练 RM 的对齐路线DPODirect Preference Optimization是近几年大热的替代方案。它最大的改变是不再显式训练 Reward Model也不再用强化学习的采样-更新循环。DPO 的数学推导核心是建立一个隐式奖励偏好优化被写成在参考模型附近的约束优化问题最后拆成一组简单的分类式损失直接优化策略模型本身。DPO 训练包含三个组件Policy要训练的模型、ReferenceSFT 模型的冻结副本和偏好数据对chosen/rejected。损失函数直观理解就是让 chosen 回答的概率上升让 rejected 回答的概率下降同时用 beta 系数控制偏离 Reference 的距离。这个 beta 值通常取 0.1 到 0.5越大越保守。工程实现上 DPO 比 RLHF 简单太多不用写 rollout 收集模块不用训 Critic不用做优势估计。我曾经在一个有限算力项目里用一副完整的中等规模显存配置单独一台服务器就把 DPO 训练跑完了这在同等条件下跑 RLHF 是不可想象的。6.4 RLHF 和 DPO 怎么选很多朋友问我该选哪条路。我的判断标准是对比维度RLHFPPODPO训练稳定性受 RM 质量影响大波动明显相对稳定loss 曲线平滑数据需求需要 RM 数据 RLHF 采样数据只需要偏好数据对算力需求很高四模型 采样循环较低参考模型通常可大幅精简调参成本高KL、GAE、clip 相互联动较低核心就是 beta 和 lr能力上限理论上限更高探索空间大受偏好数据约束探索有限快速迭代慢周期长快一天一轮很轻松如果你团队有 RL 工程经验、偏好数据量大、又在意最终输出的上限选 RLHF 值得投入。如果你更想要一个可靠、快速、能持续叠加数据的方案DPO 往往是更务实的选择。我个人在处理大多数实际项目时会先用 DPO 快速跑一个 baseline 验证偏好数据的有效性再根据效果决定有没有必要升级到 RLHF。7. 实战问题与排查技巧实录7.1 显存不够怎么办训练过程中 OOM 是最常见的遭遇。我有几个从高到低的排障手段先开梯度检查点这个开关通常能省三分之一激活显存再调小 batch size但要注意 batch 太小会放大梯度噪声最好配合梯度累积用保持等效批次不变如果还不行就上 ZeRO offload把优化器状态和梯度放到 CPU 内存里。注意 offload 会带来额外通信开销训练速度会明显下降这是用时间换空间的典型取舍。还有一个容易被忽略的点做推理如 RLHF 的 rollout和训练共用显存时要用 torch.no_grad() 包住推理过程并手动清理缓存否则缓存碎片也可能造成随机性 OOM。7.2 reward hacking 抓到过现行reward hacking 是 RLHF 里最经典的问题模型找到 RM 无法察觉的漏洞去骗高分。我实际遇到过一个典型模型开始疯狂输出超长回答大量重复上下文不敢犯信息增益但 RM 给分很高原因是 RM 的训练数据里长回答常常被标注为“更完整”于是模型学会了“越长越容易得高分”这个假规律。对策有三类一是加显式的长度惩罚项在 RLHF 奖励中直接减掉过长回答的奖励二是强化 KL 约束限制模型偏离参考模型太远三是在 RM 数据层面打补丁往偏好数据里故意加入“短而准”和“长而差”的样本把 RM 对长度的幻觉纠正回来。说实话第三类最治本但需要数据团队敏感。7.3 loss 曲线异常的排查思路不同阶段的 loss 异常排查重点不一样。预训练的 loss 突然 spike优先查数据SFT 的 loss 一直不降先确认学习率和数据格式再看有没有泄露未来 Token 的注意力掩码错误RLHF 的 loss 剧烈震荡先看 RM 是否在反复横跳再看 KL beta 是不是设置太小把模型放飞到边界。这里有张速查表是我平时排障直接照用的经验记录现象常见原因首选处理手段预训练 loss 大幅飙升异常语料污染抓取触发样本、剔除、回滚 checkpointSFT loss 降低但输出模板化数据多样性不足扩充指令改写、混入多轮数据SFT 训练后期通用能力下降通用数据配比不足混入 20%-30% 通用语料RM 验证准确率低标注噪声过大/偏好不一致筛选 tie 样本、升级标注规范RLHF 模型回答重复KL 过大或 beta 过大调低 beta、增大 rollout 多样性对齐后模型变“油滑”训练轮数过长提前保存中间 checkpoint、early stop多卡训练 loss 不一致数据并行时种子未统一固定全局随机种子、统一数据采样7.4 一项容易被低估的“数据体检”无论是 SFT、RM 还是对齐阶段我强烈建议你先给训练样本做一次完整的数据体检。具体操作包括统计长度分布和异常值、用模型跑一遍预测对比标准答案的格式一致性、按来源拆分数据看有没有单一来源主导的情况。数据体检虽然不产生模型提升却能把后续的“玄学问题”消灭在萌芽状态。我在多个项目上发现很多人抱怨“模型怎么调都不对”最后查来查去就是训练数据里有 5% 的脏样本在持续干扰梯度这个比例听起来不大但足以让模型学到错误的模式。写在最后我个人在实际操作中体会最深的一点是很多人一上来就盯着偏好对齐这个“热词”却连 SFT 数据都没整理干净。训练方式本身并不神秘真正拉开差距的永远是数据质量以及愿意盯着 loss 曲线反复排查的那股轴劲。如果只让我留一条经验那就是顺序别乱、数据干净、超参保守——这九个字基本能让你的训练项目少踩一半的坑。