标题DTDD: Divergence-Triggered Dynamic Distillation for Reliable On-Policy Supervision来源arXiv, 2610.19302v1️文章简介研究问题在让大模型学生模仿老师进行推理或操作时如果学生走偏了或者和老师差距太大传统的在线蒸馏方法提供的指导信号就会变得不可靠甚至有害该怎么办主要贡献论文提出了一种叫DTDD的动态蒸馏框架它能自动检测学生和老师思路的分歧程度一旦分歧过大就让老师“接管”生成后续内容从而提供更稳定、高效的学习信号。重点思路分段监测分歧将学生生成的回答分成短片段计算每个片段内学生与老师概率分布的平均差异 divergence 而不是只看单个词的波动以此作为是否干预的触发器。动态接管机制当某个片段的分歧超过阈值时系统会回滚到该片段开始前保留学生已生成的前缀然后让冻结的老师模型从该点继续生成剩余的“恢复后缀”。混合训练目标对于学生自己生成的前缀部分继续使用标准的在线蒸馏OPD损失进行训练对于老师生成的恢复后缀部分则使用行为克隆Behavior Cloning即交叉熵损失让学生直接模仿老师的正确输出。多场景适配在长文本推理中老师接管剩余文本在多轮智能体交互中老师接管当前错误的动作或后续回合确保环境状态回到正确轨道。分析总结提升训练稳定性在长序列生成任务中DTDD将训练后期的梯度范数峰值降低了8.6倍有效避免了传统方法因误差累积导致的训练崩溃或不稳定。加速冷启动学习对于没有经过预微调的基础模型DTDD能以更少的优化步数快2.6倍达到相同的数学解题准确率因为它在早期提供了大量高质量的老师示范。增强智能体性能在ALFWorld和代码生成等多轮交互任务中适度的老师接管能显著提升最终成功率分别提升了4.8%和4.1%的性能。设计选择关键实验证明基于片段平均分歧的触发器比基于单点尖峰的触发器更有效对老师生成的部分使用行为克隆损失比使用蒸馏损失效果更好。个人观点论文创新在于“动态路由”的思想,不再盲目地让学生全程模仿老师也不完全放任学生自我探索而是像驾校教练一样平时让学生自己开OPD一旦发现学生要偏离路线或陷入困境高分歧就立刻接手方向盘演示正确操作行为克隆。