调研了一下大模型知识蒸馏方向近几年的一些工作。

概述

知识蒸馏的目的是将知识从大型复杂模型转移到更小更高效的模型中。

按照实现类型，大体可分为两种：

• 黑盒蒸馏（Black-box）：学生模型仅可访问教师模型的输入和输出
• 白盒蒸馏（White-box）：除了教师模型输入输出外，教师模型的输出分布或中间隐藏状态也可访问

当前的主要趋势是：黑盒蒸馏在工业界使用更广泛，因为黑盒蒸馏能利用闭源模型的能力。学术界用白盒蒸馏的研究也比较多，容易挖掘创新点。此外，也有一些工作开始采用白盒蒸馏与黑盒蒸馏相结合，逐渐成为新的发展方向。

代表性文献

综述性文章

A Comprehensive Survey on Knowledge Distillation[1] 这篇是25年10月的综述，内容比较详尽，它将白盒蒸馏和黑盒蒸馏细分成以下几个类别：

其中，白盒蒸馏是根据模型的架构去分，分成基于BERT和只基于Decoder的，这种分发个人觉得比较粗暴，不是很合理。

黑盒蒸馏是根据方法区分，比较合理，主要分为以下三种：

• 思维链(Chain of Thought)：教师模型对已有数据生成思维链，供学生模型训练
• 指令遵循(Instruction Following)：教师模型对训练数据生成指令、输入和输出样本，供学生模型训练
• 上下文学习(In-context Learning)：构造任务，收集教师模型在不同上下文情况下的输出，结果供学生模型训练

Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application[2] 是另一篇综述性的研究，发布时间是24年1月，内容不如上一篇丰富，不过也提出了一些不同的梳理和思考。

A Survey on Knowledge Distillation of Large Language Models[3]这篇24年的文章则是根据具体的方法论，汇总了各种知识蒸馏的方法，研究细分领域可以参考。

黑盒蒸馏文章

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning[4]这篇文章就是黑盒蒸馏的典型代表。

在这篇文章中，有6个蒸馏的小模型，4个基座是Qwen，两个基座是Llama3.1。

DeepSeek-R1小模型的蒸馏方式：将DeepSeek-v3(671B)模型生成的数据作为小模型训练集。

训练数据量包含两部分：推理数据(60w)+非推理数据(20w)

MiniPLM: Knowledge Distillation for Pre-Training Language Models[5]是最新比较典型的黑盒蒸馏方法。

具体思路是：根据教师模型和学生模型之间的输出概率分布差异，调整学生模型预训练数据的语料库。

根据概率分布，做出以下调整：

• 减少简单样本
• 增加复杂/多样性样本
• 提出噪音/有害样本

它的实验中教师模型参数量为1.8B，学生模型的参数量为200M/500M/1.2B。

其中，Pre-Train w/o KD为未经蒸馏的小模型性能表现。

黑盒与白盒结合蒸馏文章

DistilQwen2.5: Industrial Practices of Training Distilled Open Lightweight Language Models[6] 是通义实验室发布的一篇比较经典的黑白盒相结合的文章。

具体方案是：

• 黑盒蒸馏：使用Qwen3-Max(1T)和GPT-4o(闭源)作为教师模型，来生成小模型的训练数据
  • 指令问题生成：根据问题指令，输出相关响应
  • 优化训练数据：为原始训练数据增加思维链(CoT)
  • 训练数据筛选：根据信息量、任务平衡性筛选数据
  • 验证问题正确性：对已有答案进行事实核验
• 白盒蒸馏：让学生模型的输出和教师模型输出尽可能接近

白盒蒸馏除交叉熵损失外，还采用知识蒸馏损失来最小化学生模型与教师模型的输出的Token序列之间的散度。

模型蒸馏前后的性能如下表所示：

蒸馏前后总体会有提升，部分任务可能无变化或下降。

后面我会进一步从代码角度分析这篇文章的思路。

蒸馏效果评估

在调研具体方法时，还发现了Quantification of Large Language Model Distillation[7]这一篇有关蒸馏效果量化评估的工作。

里面解释了一个有趣的现象：当问大模型身份性问题时，它可能会答出其它厂商的答案。

比如，问Qwen-Max它的开发团队是谁，它会说它是由Anthropic开发的。

按照这篇文章提出的评估方法，蒸馏水平越靠近右上角，采用蒸馏的程度越高。

图中表明，Claude、Doubao和Gemini的蒸馏程度较低，而Qwen-Max的蒸馏程度最高。

参考

[1] https://arxiv.org/pdf/2503.12067
[2] https://dl.acm.org/doi/pdf/10.1145/3699518
[3] https://arxiv.org/abs/2402.13116
[4] https://arxiv.org/abs/2501.12948
[5] https://arxiv.org/abs/2410.17215
[6] https://arxiv.org/pdf/2504.15027
[7] https://aclanthology.org/2025.acl-long.248