本文系统梳理了大模型知识蒸馏技术，将其分为黑盒与白盒两种类型，分析了各自特点及发展趋势。重点介绍了代表性文献，包括黑盒蒸馏、白盒蒸馏及两者结合的方法，并探讨了蒸馏效果的量化评估，为开发轻量高效模型提供了技术参考。

---

调研了一下大模型知识蒸馏方向近几年的一些工作。

概述

知识蒸馏的目的是将知识从大型复杂模型转移到更小更高效的模型中。

按照实现类型，大体可分为两种：

• 黑盒蒸馏（Black-box）：学生模型仅可访问教师模型的输入和输出
• 白盒蒸馏（White-box）：除了教师模型输入输出外，教师模型的输出分布或中间隐藏状态也可访问

当前的主要趋势是：黑盒蒸馏在工业界使用更广泛，因为黑盒蒸馏能利用闭源模型的能力。学术界用白盒蒸馏的研究也比较多，容易挖掘创新点。此外，也有一些工作开始采用白盒蒸馏与黑盒蒸馏相结合，逐渐成为新的发展方向。

代表性文献

综述性文章

A Comprehensive Survey on Knowledge Distillation[1] 这篇是25年10月的综述，内容比较详尽，它将白盒蒸馏和黑盒蒸馏细分成以下几个类别：

其中，白盒蒸馏是根据模型的架构去分，分成基于BERT和只基于Decoder的，这种分发个人觉得比较粗暴，不是很合理。

黑盒蒸馏是根据方法区分，比较合理，主要分为以下三种：

• 思维链(Chain of Thought)：教师模型对已有数据生成思维链，供学生模型训练
• 指令遵循(Instruction Following)：教师模型对训练数据生成指令、输入和输出样本，供学生模型训练
• 上下文学习(In-context Learning)：构造任务，收集教师模型在不同上下文情况下的输出，结果供学生模型训练

Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application[2] 是另一篇综述性的研究，发布时间是24年1月，内容不如上一篇丰富，不过也提出了一些不同的梳理和思考。

A Survey on Knowledge Distillation of Large Language Models[3]这篇24年的文章则是根据具体的方法论，汇总了各种知识蒸馏的方法，研究细分领域可以参考。

黑盒蒸馏文章

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning[4]这篇文章就是黑盒蒸馏的典型代表。

在这篇文章中，有6个蒸馏的小模型，4个基座是Qwen，两个基座是Llama3.1。

DeepSeek-R1小模型的蒸馏方式：将DeepSeek-v3(671B)模型生成的数据作为小模型训练集。

训练数据量包含两部分：推理数据(60w)+非推理数据(20w)

MiniPLM: Knowledge Distillation for Pre-Training Language Models[5]是最新比较典型的黑盒蒸馏方法。

具体思路是：根据教师模型和学生模型之间的输出概率分布差异，调整学生模型预训练数据的语料库。

根据概率分布，做出以下调整：

• 减少简单样本
• 增加复杂/多样性样本
• 提出噪音/有害样本

它的实验中教师模型参数量为1.8B，学生模型的参数量为200M/500M/1.2B。

其中，Pre-Train w/o KD为未经蒸馏的小模型性能表现。

黑盒与白盒结合蒸馏文章

DistilQwen2.5: Industrial Practices of Training Distilled Open Lightweight Language Models[6] 是通义实验室发布的一篇比较经典的黑白盒相结合的文章。

具体方案是：

• 黑盒蒸馏：使用Qwen3-Max(1T)和GPT-4o(闭源)作为教师模型，来生成小模型的训练数据

• 指令问题生成：根据问题指令，输出相关响应
• 优化训练数据：为原始训练数据增加思维链(CoT)
• 训练数据筛选：根据信息量、任务平衡性筛选数据
• 验证问题正确性：对已有答案进行事实核验

• 白盒蒸馏：让学生模型的输出和教师模型输出尽可能接近

白盒蒸馏除交叉熵损失外，还采用知识蒸馏损失来最小化学生模型与教师模型的输出的Token序列之间的散度。

模型蒸馏前后的性能如下表所示：

蒸馏前后总体会有提升，部分任务可能无变化或下降。

后面我会进一步从代码角度分析这篇文章的思路。

蒸馏效果评估

在调研具体方法时，还发现了Quantification of Large Language Model Distillation[7]这一篇有关蒸馏效果量化评估的工作。

里面解释了一个有趣的现象：当问大模型身份性问题时，它可能会答出其它厂商的答案。

比如，问Qwen-Max它的开发团队是谁，它会说它是由Anthropic开发的。

按照这篇文章提出的评估方法，蒸馏水平越靠近右上角，采用蒸馏的程度越高。

图中表明，Claude、Doubao和Gemini的蒸馏程度较低，而Qwen-Max的蒸馏程度最高。

普通人如何抓住AI大模型的风口？

为什么要学习大模型？

在DeepSeek大模型热潮带动下，“人工智能+”赋能各产业升级提速。随着人工智能技术加速渗透产业，AI人才争夺战正进入白热化阶段。如今近**60%的高科技企业已将AI人才纳入核心招聘目标，**其创新驱动发展的特性决定了对AI人才的刚性需求，远超金融（40.1%）和专业服务业（26.7%）。餐饮/酒店/旅游业核心岗位以人工服务为主，多数企业更倾向于维持现有服务模式，对AI人才吸纳能力相对有限。

这些数字背后，是产业对AI能力的迫切渴求：互联网企业用大模型优化推荐算法，制造业靠AI提升生产效率，医疗行业借助大模型辅助诊断……而餐饮、酒店等以人工服务为核心的领域，因业务特性更依赖线下体验，对AI人才的吸纳能力相对有限。显然，AI技能已成为职场“加分项”乃至“必需品”，越早掌握，越能占据职业竞争的主动权

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！

大模型全套学习资料领取

这里我整理了一份AI大模型入门到进阶全套学习包，包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧，需要的小伙伴文在下方免费领取哦，真诚无偿分享！！！

vx扫描下方二维码即可

部分资料展示

一、 AI大模型学习路线图

这份路线图以“阶段性目标+重点突破方向”为核心，从基础认知（AI大模型核心概念）到技能进阶（模型应用开发），再到实战落地（行业解决方案），每一步都标注了学习周期和核心资源，帮你清晰规划成长路径。

二、 全套AI大模型应用开发视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

三、 大模型学习书籍&文档

收录《从零做大模型》《动手做AI Agent》等经典著作，搭配阿里云、腾讯云官方技术白皮书，帮你夯实理论基础。

四、大模型大厂面试真题

整理了百度、阿里、字节等企业近三年的AI大模型岗位面试题，涵盖基础理论、技术实操、项目经验等维度，每道题都配有详细解析和答题思路，帮你针对性提升面试竞争力。

适用人群

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】