在 AI 算法训练中，归一化（Normalization） 是一种数据预处理技术，核心是将不同量纲、不同分布范围的特征数据缩放到统一的数值区间（最常见为 $[0,1]$），消除数据间的量级差异对模型训练的干扰，最终提升训练效率、稳定性与模型泛化能力。

归一化的本质是**“消除特征间的不公平竞争”**——如果不同特征的数值范围差异过大（比如一个特征是“身高：150-190cm”，另一个是“年收入：0-1000000元”），基于梯度下降的模型会优先偏向数值范围大的特征，导致训练方向偏离最优解。

一、归一化的核心目的

1. 消除量纲影响，保证特征权重均衡
   不同特征的物理意义不同，量纲和数值范围差异大。例如在多特征分类任务中，“像素值（0-255）”和“图像标注置信度（0.0-1.0）”若直接输入模型，模型会默认数值大的特征更重要，从而忽略小范围特征的贡献。归一化后所有特征处于同一区间，模型能公平学习每个特征的权重。

2. 加速梯度下降收敛，缩短训练时间
   神经网络等模型依赖梯度下降优化参数。若数据分布分散，损失函数的等高线会呈“扁长椭圆”状，梯度下降时会出现震荡现象，收敛速度慢；归一化后数据分布更集中，等高线接近圆形，梯度下降能沿最短路径快速收敛到最优解。

3. 提升模型泛化能力，降低过拟合风险
   归一化可以抑制异常值的影响，让模型更关注数据的相对分布而非绝对数值，从而减少对训练集噪声的过度拟合，提升在测试集上的表现。

4. 适配模型激活函数特性
   对于 Sigmoid、Tanh 等饱和型激活函数，若输入数值过大，会进入函数的饱和区，导致梯度趋近于 0（梯度消失），模型无法继续更新。归一化将输入限制在合理区间，避免梯度消失问题。

二、最常见的归一化方法：Min-Max 归一化

归一化的方法有多种，Min-Max 归一化是最基础且应用最广的一种，其核心公式为：
$$x_{\text{norm}}=\frac{x-x_{\text{min}}}{x_{\text{max}}-x_{\text{min}}}$$

• $x$：原始特征值
• $x_{\text{min}}$：该特征在训练集中的最小值
• $x_{\text{max}}$：该特征在训练集中的最大值
• $x_{\text{norm}}$：归一化后的数值，范围为 $[0,1]$

示例：
假设某特征的训练集数值范围是 $[2,10]$，现有一个样本值为 $6$，则归一化后的值为：
$$x_{\text{norm}}=\frac{6-2}{10-2}=\frac{4}{8}=0.5$$

适用场景：

• 数据分布已知且无明显异常值的场景，如图像像素值归一化（将 0-255 缩放到 0-1）、表格数据的特征预处理。
• 对输出范围有明确要求的模型，如生成模型中对生成数据的约束。

三、归一化与标准化的关键区别（易混淆概念）

在 AI 训练中，归一化常与标准化（Standardization，Z-Score 归一化） 混淆，二者核心差异如下：

四、归一化在 AI 训练中的典型场景

1. 计算机视觉（CV）
   图像像素值默认范围是 $[0,255]$，训练前会通过归一化缩放到 $[0,1]$ 或 $[-1,1]$，减少数值量级对卷积层权重更新的影响。例如：

   # PyTorch 中图像归一化示例
   transform = transforms.Compose([
       transforms.ToTensor(),  # 将像素值转为 [0,1]
       transforms.Normalize(mean=[0.5], std=[0.5])  # 进一步缩放到 [-1,1]
   ])
   

2. 自然语言处理（NLP）与 LLM 训练

   • 词嵌入归一化：对预训练词向量或 LLM 的 token 嵌入进行归一化，提升注意力机制对语义相似度的计算准确性。
   • 奖励归一化（RLHF 场景）：在强化学习对齐阶段，对奖励模型输出的奖励值进行归一化，避免奖励值波动过大导致 PPO 算法训练不稳定。

3. 强化学习（RL）
   对状态特征（如智能体的传感器数据、环境参数）进行归一化，保证状态空间的一致性，让智能体更高效地学习策略。例如机器人控制中，将“速度（0-10m/s）”和“角度（0-360°）”归一化到 $[0,1]$，避免模型偏向速度特征。

五、归一化的关键注意事项

1. 训练集与测试集的缩放参数需一致
   必须使用训练集的 $x_{\text{min}}$ 和 $x_{\text{max}}$ 对测试集数据进行归一化，而非单独计算测试集的极值。若分开计算，会导致数据泄露，严重影响模型泛化能力。

2. 并非所有模型都需要归一化
   基于树结构的模型（如决策树、随机森林）对特征量级不敏感，无需归一化；而神经网络、SVM、逻辑回归等模型对数据分布高度敏感，归一化是必备预处理步骤。

3. LLM 中的特殊“归一化”：层归一化（Layer Normalization）
   注意区分数据预处理阶段的归一化和模型内部的层归一化（LN）：层归一化是在模型训练过程中，对每层的输入特征进行归一化，目的是解决内部协变量偏移（Internal Covariate Shift），提升训练稳定性，属于模型结构的一部分，而非数据预处理。