📖标题：Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers🌐来源：arXiv, 2610.05974v1🛎️文章简介🔸研究问题：当大模型老师通过强化学习（如GRPO）变强后，为什么这些提升不能完整地传递给蒸馏的小学生？哪些提升能传，哪些不能，怎么传得更多？🔸主要贡献：论文提出了TS-OPD方法，根据师生在每道题上的表现差异进行分层，针对性地选择蒸馏策略，显著缩小了“迁移差距”，让小模型更有效地继承老师的强化学习成果。📝重点思路🔸定义迁移差距：发现老师通过GRPO获得的性能提升（ΔT）与学生通过蒸馏获得的提升（ΔS）之间存在差值，即迁移差距。这并非均匀分布，而是取决于具体题目上师生的联合成功率。🔸问题分层诊断：将训练题目分为三类。一是知识缺口（老师会，学生完全不会），需要探索新解法；二是精度缺口（老师更稳，学生偶尔对），需要纠正错误并保留正确行为；三是无优势区（学生比老师强或都错），无需或不应蒸馏。🔸路由匹配目标：针对知识缺口题目，使用前向KL散度，鼓励学生尝试老师高概率但自己从未选过的token，以发现新路径；针对精度缺口题目，使用反向KL散度，抑制学生高概率但老师低概率的错误token，同时保持其他部分不变。🔸令牌级门控与熵刹车：在token层面，只更新师生分歧大且老师置信度高的位置。对于精度缺口，引入熵刹车机制，防止反向KL过度集中概率分布，从而保护学生解题的多样性（pass@K）。🔸跳过无效题目：直接跳过学生表现优于老师或双方都失败的题目，将计算资源集中在有迁移价值的题目上，避免有害监督。🔎分析总结🔸TS-OPD效果最佳：在多个基准测试和学生规模（0.6B到4B）下，TS-OPD相比标准OPD和直接GRPO，取得了最高的宏观平均正确率，并最小化了迁移差距。