1. 归一化 (Normalization)

归一化一般指将数据缩放到特定的范围，通常是[0, 1]。这可以通过最小-最大归一化来实现，即：

归一化的目的是让不同特征的数据处于相同的量纲，避免某些特征的数值差异过大影响模型的训练。常用在输入数据的预处理阶段。

2. 标准化 (Standardization)

标准化指的是将数据转换成均值为0、标准差为1的分布。公式是：

其中，μ\muμ是均值，σ\sigmaσ是标准差。标准化通常用于输入数据处理，目的是确保不同特征的分布没有很大的差异，帮助模型训练更稳定。常见于训练数据中，特别是当数据呈现不同尺度时。

3. Softmax

Softmax 是一种常用于多分类问题中的激活函数，属于归一化的一种。它将输入的一组实数值映射为概率分布。其计算方式是：

其中 ziz_izi​ 是输入的第i个值。Softmax的输出是一组数，表示每个类别的概率，所有输出的概率和为1。常见于输出层，尤其是在多分类问题中。

4. Sigmoid

Sigmoid 是一个常用的激活函数，尤其在二分类问题中，它的输出值在0和1之间，表示属于某个类别的概率。其公式是：

Sigmoid 通常用于二分类的输出层，将输入的实数值压缩到0和1之间，输出为概率值。它也常用于中间层的激活函数。

总结：

• 归一化：将数据压缩到特定的范围（如[0, 1]）。
• 标准化：将数据转化为均值为0、标准差为1的分布。
• Softmax：多分类问题中的激活函数，输出概率。
• Sigmoid：二分类问题中的激活函数，输出概率。