RMSNorm：均方根归一化和LayerNorm区别

嘉哕仨十

922人浏览 · 2025-11-11 14:37:55

嘉哕仨十 · 2025-11-11 14:37:55 发布

RMSNorm，它是很多现代大模型（包括 DeepSeek 系列）在 LayerNorm 的基础上改进的一种归一化方法，主要目的是提高计算效率和稳定性。

1. 背景

在 Transformer 中，常见的归一化方法是 LayerNorm：
$\text{LayerNorm}(x) = \frac{x - \mu}{\sigma} \cdot \gamma + \beta$
其中：

$μ=mean(x)\mu = \text{mean}(x)$
$σ=Var(x)\sigma = \sqrt{\text{Var}(x)}$
$γ,β\gamma, \beta$ 是可学习的缩放和平移参数

LayerNorm 的问题：

需要计算均值和方差，这两个操作都涉及减法和除法，开销较大。
方差计算要遍历整个向量，增加了一些数值不稳定性。

2. RMSNorm 的思想

RMSNorm（Root Mean Square Layer Normalization）去掉了 减均值 这一步，只使用 均方根（Root Mean Square, RMS）来归一化。

定义：
$\text{RMSNorm}(x) = \frac{x}{\text{RMS}(x)} \cdot \gamma$
其中：
$\text{RMS}(x) = \sqrt{\frac{1}{n}\sum_{i=1}^n x_i^2 + \epsilon}$

$n$ 是向量维度
$ϵ\epsilon$ 是防止除零的小数
$γ\gamma$ 是可训练的缩放参数
没有 $β\beta$ （可加，但很多实现省略）

与 LayerNorm 对比：

特性	LayerNorm	RMSNorm
去均值	✅ 有减去均值	❌ 无减均值
方差计算	需要	不需要（只计算均方根）
参数	$γ,β\gamma, \beta$	仅 $γ\gamma$ （可选 $β\beta$ ）
数值稳定性	计算更复杂，可能受均值影响	更简单、更稳定
计算性能	稍慢	更快（少一步减均值和方差计算）

3. 为什么大模型喜欢用 RMSNorm

减少计算量：去掉均值计算和方差计算，GPU 上更高效。
数值稳定性好：只依赖模长，不受均值漂移影响。
梯度更稳定：特别是在超大批量和长序列下，减少归一化带来的噪声。
工程简单化：尤其是在混合精度（fp16/bf16）训练时，减少精度丢失风险。

4. 应用场景

Transformer 架构中替代 LayerNorm（例如 Pre-LN Transformer 可以改成 Pre-RMSNorm）。
LLM（大语言模型）：GPT-NeoX、LLaMA、DeepSeek 都有用 RMSNorm。
底层块的激活归一化，尤其在 MoE 中，减少 LayerNorm 复杂度。

5. 公式总结

假设输入为向量 $\in \mathbb{R}^n$ ，
RMSNorm 的计算过程：
$\text{RMSNorm}(x) = \frac{x}{\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2 + \epsilon}} \cdot \gamma$

💡 小结：
RMSNorm 是 更轻量的 LayerNorm，用均方根代替标准差，去掉均值归一化，既快又稳定，特别适合大模型（比如 DeepSeek V3）这样算力密集的场景。

用一个具体的向量例子一步步演示 RMSNorm 的计算过程直观理解和 LayerNorm 的区别。

例子

假设我们有一个输入向量：
$x = [2.0, - 1.0, 3.0]$
维度 $n = 3$ ，缩放参数 $γ=[1.5,1.5,1.5]\gamma = [1.5, 1.5, 1.5]$ （每个维度都有一个可学习的比例）， $ϵ=10−8\epsilon = 10^{-8}$ 。

Step 1：计算均方根 RMS

RMS 的定义：
$\text{RMS}(x) = \sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2 + \epsilon}$

先算平方：
$2.0^2, (-1.0)^2, 3.0^2] = [4.0, 1.0, 9.0]$

求和：
$4.0 + 1.0 + 9.0 = 14.0$

求平均：
$\frac{14.0}{3} \approx 4.6667$

开方：
$\sqrt{4.6667 + 10^{-8}} \approx 2.1602$

所以：
$\text{RMS}(x) \approx 2.1602$

Step 2：归一化

$x^=xRMS(x) \hat{x} = \frac{x}{\text{RMS}(x)}$
计算：
$\div 2.1602 \approx [0.9258, -0.4629, 1.3887]$

Step 3：乘以缩放系数 $γ\gamma$

$y=x^⋅γ y = \hat{x} \cdot \gamma$
如果 $γ=[1.5,1.5,1.5]\gamma = [1.5, 1.5, 1.5]$ ：
$\approx [0.9258 \times 1.5, -0.4629 \times 1.5, 1.3887 \times 1.5]$
$\approx [1.3887, -0.6944, 2.0831]$

最终输出

$\text{RMSNorm}(x) \approx [1.3887, -0.6944, 2.0831]$

和 LayerNorm 对比

为了对比，如果是 LayerNorm：

先减去均值：
$\mu = \frac{2.0 - 1.0 + 3.0}{3} = 1.3333$
得到：
$\mu \approx [0.6667, -2.3333, 1.6667]$
再除以标准差：
$\sigma = \sqrt{\frac{(0.6667)^2 + (-2.3333)^2 + (1.6667)^2}{3}} \approx 1.6997$
除后：
$[0.3920, - 1.3728, 0.9800]$
再乘 $γ\gamma$ 得到输出。