# WASD: Wasserstein‑based Knowledge Distillation for Large Language Models 论文总结与翻译 论文信息：arXiv:2610.07706，NeurIPS 2026 接收## 一、文章主要内容自回归大语言模型能力强大，但推理阶段计算与内存开销巨大。知识蒸馏（KD）是将大教师模型知识迁移到小学生模型的主流方案，通过对齐师生输出离散概率分布实现知识迁移。现有LLM蒸馏大多采用KL等散度，仅基于词汇表每个token索引的概率值衡量分布差异，**没有利用token之间的语义关联**：语义相近token（如 sofa/couch）即便概率发生偏移，传统损失会同等惩罚，忽略语义相似度，限制蒸馏效果。本文提出 **WASD（基于Wasserstein的知识蒸馏）**：利用token embedding构建代价矩阵，借助Wasserstein距离（最优传输）引入token语义信息；为解决Wasserstein距离计算开销大的问题，采用去偏的Sinkhorn散度，推导得到等价梯度损失目标，**不需要额外网络，也不需要对传输求解器做反向传播**，训练高效可行。在多系列、多规模LLM（GPT‑2、OpenLLaMA2、Gemma、Qwen2.5）开展实验，在指令跟随、数学推理、代码生成任务上，WASD相比基线蒸馏方法持续取得性能提升，尤其在输出质量‑多样性权衡上效果更好。实验证明token空间的语义信息对LLM蒸馏的分布对齐至关重要，代码已开源。### 主要创新点1. **语义感知的蒸馏损失**：不同于传统KL只看token概率，利用token embedding构建最优传输代价矩阵，语义接近的tok