最近辅导女儿数学，同时也在看大模型，发现我的辅导方法和大模型蒸馏技术异曲同工，即使教不会心法，也能教个妙招，就着这个话题写篇作文。先介绍蒸馏技术，再谈谈中学数学辅导和拔高。

蒸馏旨在将大型模型(老师模型)的知识迁移到小型模型(学生模型)，过程中让学生模型学习老师模型 “软化” 后的输出，而不仅仅获得正确答案。

知识蒸馏的动机在于，传统的训练使用 one-hot 向量硬标签会丢失很多关联信息，例如，一张皮鞋的图片被错误分类为经理，与错误分类为工人，其错误的严重程度是不同的，但硬标签无法体现这一点，老师模型输出的概率分布则包含这种隐形的暗知识。

设老师模型的 logits 输出为 ${\text{z}}^t$，学生模型的 logits 输出为 ${\text{z}}^s$，其中 logits 指 softmax 层之前的原始得分。为了得到平滑的概率分布，引入温度参数 T(通常 T > 1)。带温度 T 的 softmax 函数定义如下：

$q_i=\frac{\exp (\frac{z_i}{T})}{{\sum }_{j=1}^K\exp (\frac{z_j}{T})}$

其中 K 为类别总数。T 的取值很讲究：

• 当 T < 1，z 中最大值被严重放大，对其他 $z_i<z_m$，$\text{exp}(\frac{z_i}{T})=\text{exp}(\frac{z_i-z_m}{T})\cdot \text{exp}(\frac{z_m}{T})$，其中 $z_i-z_m<0$，当 $T\to 0$ 时，$\text{exp}(\frac{z_i-z_m}{T})\to 0$，代入公式，整体趋向 one-hot；
• 当 T 非常大，泰勒展开，$\text{exp}(\frac{z_i}{T})\approx 1+\frac{z_i}{T}+小量$，代入公式，分子约为 1，分母约为 K，是为均匀分布；
• 当 T > 1 但又不太大，如 T = 3，$\frac{z_i}{T}$ 变小，$\text{exp}(\frac{z_i}{T})$ 差异被压缩，更加平滑；

因此，当 T=1 时，即为标准 softmax，只有 T>1 时，概率分布更加平滑，错误类别之间的相对概率大小得以保留，这是知识传递的基础。

在训练过程中，我们使用相同的温度 T 分别处理老师和学生的 logits，得到 softened 分布：
${\text{p}}^t=\text{softmax}(\frac{{\text{z}}^t}{T}),{\text{p}}^s=\text{softmax}(\frac{{\text{z}}^s}{T})$

$p^t$ 相当于老师先做了一遍题目，蒸馏的目标是让学生模型的 softened 分布 ${\text{p}}^s$ 逼近老师模型的 softened 分布 ${\text{p}}^t$。

衡量两个概率分布差异的常用指标是 Kullback-Leibler 散度，KL 散度定义为：

$D_{\text{KL}}({\text{p}}^t\parallel {\text{p}}^s)={\sum }_{i=1}^C{p}_i^t\log \frac{p_i^t}{p_i^s}$

KL 散度衡量当用其中一个分布 Q 近似真实分布 P 时，所损失的信息量。如果两个分布完全一样，KL 散度为 0，差异越大，KL 散度越大，用 KL 散度可等价交叉熵：

• 交叉熵：$H(P,Q)=-{\sum }_{i}P(i)\log Q(i)$；
• KL 散度与交叉熵的关系：$D_{KL}(P\parallel Q)=H(P,Q)-H(P)$；
• 其中 H§ 是分布 P 的熵。在蒸馏中，老是分布 P 固定，因此它的熵 H§ 是常数；
• So，最小化 KL散度 $D_{KL}(P\parallel Q)$ 等价于最小化交叉熵 H(P, Q)$，两者在优化目标上等价；

将 softened 分布代入，并考虑到训练效率，在实现时通常对学生 logits 使用 log_softmax。因此，蒸馏损失 ${\mathcal{L}}_{\text{distill}}$ 定义为：

${\mathcal{L}}_{\text{distill}}=D_{\text{KL}}({\text{p}}^t\parallel {\text{p}}^s)\cdot T^2$

乘以 $T^2$ 是出于梯度缩放考虑，对损失函数关于学生 logits $z_i^s$ 求导，可得到梯度表达式：

$\frac{\partial {\mathcal{L}}_{\text{distill}}}{\partial z_i^s}=\frac{1}{T}(p_i^s-p_i^t)$

可看出，梯度中包含因子 $\frac{1}{T}$。乘以 $T^2$ 后，有效梯度变为 $T(p_i^s-p_i^t)$，这使得在温度 T 变化时，梯度的尺度相对稳定，有利于优化。

然而仅使用蒸馏损失可能导致学生模型过度依赖老师而忽略真实答案。因此，总损失由蒸馏损失和标准的交叉熵损失加权。设真实标签的 one-hot 向量为 y，标准交叉熵损失为：

${\mathcal{L}}_{\text{CE}}=-{\sum }_{i=1}^C{y}_i\log (\text{softmax}(z_i^s{)}_{T=1})$

最终的总损失函数为：

${\mathcal{L}}_{\text{total}}=\alpha \cdot {\mathcal{L}}_{\text{distill}}+(1-\alpha )\cdot {\mathcal{L}}_{\text{CE}}$

其中 $\alpha \in [0,1])$ 是个超参数，用于平衡两种损失的贡献。

训练流程如下：

• 使用训练数据对冻结参数的老师模型进行前向传播，计算 softened 概率分布 ${\text{p}}^t$ 并缓存；
• 在训练学生模型的每个批次中，同时计算学生的 softened 分布 ${\text{p}}^s$ 和标准 logits；
• 根据上述公式计算总损失，并仅对学生模型的参数进行反向传播和优化。

推理阶段，学生模型使用标准 softmax(T=1)进行预测。

蒸馏的威力在于 softened 分布蕴含相似性信息，而标准答案的硬标签并不具备这些信息。通过最小化与老师分布的 KL 散度，学生模型不仅学习如何分类，还学习了老师模型更丰富的柔性，模型虽小但看起来显得很大。

以上描述的知识蒸馏与我辅导女儿数学特别是几何时的效果一样，都非常好，我一并分享一下。

我采用几个步骤：

• 自己先做一遍题目，因为我一直都很喜欢解题，这对我而言没什么难度，反而难题是一种享受；
• 告诉女儿我的思路，为保证她确实理解，我会让她写篇 600 字作文，就像我中学时记录的一样；
• 让她对照老师讲的标准答案，并比较我的答案和标准答案的区别；
• 让她回答当时为什么既没有想到标准答案，也没有想到我的答案；
• 不断重复上述；

这个过程中，我是大模型，女儿是小模型，我由于 30 多年的积累训练，早就有了各种解题范式，而她不需要重复这 30 的过程，只需要记住我的范式即可。

进一步思考，“知识蒸馏” 其实是我们最拿手的传统教育模式，在古代，背会唐诗三百首，不会写也会偷，在当代，虽然我们的思维方式不是那么异想天开，但我们的考试成绩秒杀全宇宙，这背后都是对范式的记忆和应用，即，将知识的范式当作知识本身来学习，因此才得以弯道超车，省却了大量时间，这岂不就是大模型蒸馏。

老师花了大量资源(时间，金钱，人力等)学习，学生只学习老师的结论，以及他的方法论。

填鸭式知识传承，知识蒸馏的目标本质上就是要提高填鸭的效率和保真度，但这也存在一些关键瓶颈：

• 对老师(教材)的绝对依赖与知识边界的固化；
• 对标准答案的执念以及泛化能力的瓶颈；
• 批判，解构，联想，第一性探索能力瓶颈；

这些同时也是 AI 大模型的瓶颈。我就不信经理们能搞定。

浙江温州皮鞋湿，下雨进水不会胖。