Distillation
也称 KD
Distillation（Knowledge Distillation）让学生模型学习教师模型提供的输出或其他监督信号，把教师的一部分能力迁移到学生模型中。
如何理解
经典蒸馏使用教师的概率分布作为学习目标，比单一正确标签提供更丰富的相似性信息。语言模型也可以利用教师生成的回答构造训练样本。
学生可以比教师更小，但大小不是蒸馏的唯一判断标准。任务覆盖、教师质量和学生容量共同决定能够保留哪些能力。
容易混淆的地方
蒸馏不是复制权重，也不等于量化。学生可能继承教师的错误，不能默认保留教师的全部能力。