在模型微调（Fine-tuning）过程中，我们调整的是模型的参数，以便模型能够更好地适应特定的任务或数据集。具体来说，我们通常会调整以下几个方面：

1. 学习率（Learning Rate）

• 学习率是最重要的超参数之一，它决定了在每次参数更新时参数改变的幅度。一个太大的学习率可能会导致模型训练不稳定，而太小的学习率会导致训练过程缓慢。微调时，通常使用比预训练阶段更小的学习率，因为我们希望模型参数的改变更加细微，以免破坏已学到的有用信息。

2. 批次大小（Batch Size）

• 批次大小影响模型的训练稳定性和内存使用量。较大的批次可以提高训练效率，但也会增加内存使用量。在微调时，根据可用的计算资源调整批次大小是常见的做法。

3. 训练周期（Epochs）

• 训练周期决定了整个训练集被遍历的次数。微调通常不需要太多的训练周期，因为预训练的模型已经具备了一定的知识基础。过多的训练周期可能会导致过拟合，即模型在训练集上表现很好，但在未见过的数据上表现不佳。

4. 损失函数（Loss Function）

• 根据任务的不同，可能需要选择不同的损失函数。例如，对于分类任务，常用的损失函数是交叉熵损失（Cross-Entropy Loss）；对于回归任务，可以使用均方误差损失（Mean Squared Error Loss）。在微调时，选择与任务相匹配的损失函数是很重要的。

5. 优化器（Optimizer）

• 优化器决定了参数更新的策略。常见的优化器包括SGD（随机梯度下降）、Adam、RMSprop等。不同的优化器可能会对模型的训练速度和最终性能产生影响。微调时，常用的优化器是Adam，因为它在很多任务上都表现良好。

6. 学习率调度器（Learning Rate Scheduler）

• 学习率调度器可以在训练过程中调整学习率，例如，随着训练的进行逐渐减小学习率，以帮助模型更好地收敛。这种策略有时可以改善模型的性能。

7. 正则化（Regularization）

• 正则化技术，如权重衰减（Weight Decay）、Dropout等，可以帮助防止模型过拟合，即在训练数据上表现过于完美而在新数据上表现不佳的情况。

在进行模型微调时，通常会基于验证集（Validation Set）上的性能来调整这些参数和技术，目标是找到最佳的组合，以便模型在新的任务或数据集上表现最好。