算法	全称	使用场景	作用
GD	Gradient Descent（梯度下降）	最基本的优化方法	沿梯度方向更新参数，找到损失最小点
Steepest Descent	最速梯度下降	理论版 GD	每次朝“最快下降”的方向走
SGD	Stochastic Gradient Descent（随机梯度下降）	大数据训练	每次只用一小批样本更新，节省计算
Momentum	动量法	深层网络训练	在 SGD 上加“惯性”，减少震荡，加快收敛
Adam	Adaptive Moment Estimation	深度学习默认首选	自适应学习率 + 动量，稳定高效
RMSProp	Root Mean Square Propagation	循环神经网络 (RNN)	自适应调整每个参数的学习率

算法	全称	使用场景	作用
MSE	Mean Squared Error（均方误差）	回归问题	衡量预测值与真实值的差距平方
MAE	Mean Absolute Error（平均绝对误差）	回归问题	抗异常值能力更强
Cross-Entropy	交叉熵	分类问题	衡量预测分布和真实分布差异
Hinge Loss	合页损失	支持向量机 (SVM)	用于最大间隔分类
KL Divergence	Kullback–Leibler Divergence（KL 散度）	生成模型 / 分布拟合	衡量两个概率分布的差异

算法	全称	使用场景	作用
KNN	K-Nearest Neighbors（K 最近邻）	小规模分类	通过邻居投票分类
SVM	Support Vector Machine（支持向量机）	分类任务	找到最大间隔超平面
PCA	Principal Component Analysis（主成分分析）	数据降维	提取主要特征，去噪
K-Means	K 均值聚类	无监督学习	将样本分为 K 个簇
Decision Tree	决策树	分类 & 回归	可解释性强，常用于基线模型
Random Forest	随机森林	分类 & 回归	多棵决策树集成，提升精度
Naive Bayes	朴素贝叶斯	文本分类	基于概率推理，快速有效

算法	全称	使用场景	作用
MLP	Multi-Layer Perceptron（多层感知机）	通用函数拟合	基础深度学习模型
FNN	Feedforward Neural Network（前馈神经网络）	函数拟合	信息单向流动
CNN	Convolutional Neural Network（卷积神经网络）	图像、视频、语音	提取局部特征
RNN	Recurrent Neural Network（循环神经网络）	时间序列、文本	处理序列数据
LSTM	Long Short-Term Memory（长短期记忆网络）	长序列建模	改进 RNN，避免梯度消失
GRU	Gated Recurrent Unit（门控循环单元）	长序列建模	简化版 LSTM，计算更快
Transformer	Transformer 模型	NLP、LLM、图像	基于注意力机制，现阶段主流
GAN	Generative Adversarial Network（生成对抗网络）	图像生成	生成与真实相似的数据
VAE	Variational Autoencoder（变分自编码器）	表征学习、生成模型	学习潜在空间分布

常用AI/深度学习算法介绍