大型模型（如语言模型）微调是将预训练模型适应特定任务的关键技术，能显著提升模型在目标领域的性能。微调的核心在于高效更新模型参数，避免过拟合和计算资源浪费。本文将系统介绍七种主流微调方法，每种方法均基于实际研究，结构清晰、易于理解。以下方法按从基础到高级的顺序排列，帮助您逐步掌握。

1. 全参数微调（Full Fine-Tuning）

• 描述：这是最直接的方法，更新模型的所有参数。通过在下游任务数据集上训练整个模型，使其适应新任务。适用于数据量充足且计算资源丰富的场景。
• 关键公式：损失函数最小化过程可表示为： $$ \min_{\theta} \mathcal{L}(\theta; \mathcal{D}) = \sum_{(x,y) \in \mathcal{D}} \ell(f_\theta(x), y) $$ 其中 $\theta$ 是模型参数，$\mathcal{D}$ 是训练数据，$\ell$ 是损失函数（如交叉熵），$f_\theta$ 是模型输出。
• 优点：性能通常最优，但计算开销大。

2. 适配器微调（Adapter Fine-Tuning）

• 描述：在模型的每个Transformer层中插入小型适配器模块（Adapter），仅训练这些新添加的参数，而冻结原始模型权重。适配器通常包含瓶颈结构，减少参数量。
• 关键公式：适配器输出为 $h_{\text{out}} = h_{\text{in}} + \sigma(W_2 \cdot \text{ReLU}(W_1 \cdot h_{\text{in}}))$，其中 $W_1$ 和 $W_2$ 是可训练权重，$\sigma$ 是激活函数，$h_{\text{in}}$ 是输入特征。
• 优点：参数量高效（仅占原模型 $<1%$），适合资源受限环境。

3. 低秩适应（LoRA, Low-Rank Adaptation）

• 描述：通过低秩分解更新权重矩阵，而非直接修改原权重。具体来说，添加两个低秩矩阵的乘积作为增量，仅训练这些增量参数。
• 关键公式：权重更新表示为： $$ W_{\text{new}} = W + \Delta W = W + B \cdot A $$ 其中 $B \in \mathbb{R}^{d \times r}$ 和 $A \in \mathbb{R}^{r \times k}$ 是可训练低秩矩阵（秩 $r \ll \min(d,k)$），$W$ 是冻结的原权重。
• 优点：计算高效，内存占用小，且易于集成到现有框架。

4. 前缀调整（Prefix-tuning）

• 描述：在输入序列前添加可训练的前缀向量（prefix），这些向量作为额外参数，引导模型行为。仅训练前缀部分，而冻结模型主体。
• 关键公式：对于输入序列 $X = [x_1, x_2, \ldots, x_n]$，添加前缀 $P = [p_1, p_2, \ldots, p_m]$，新输入为 $X' = [P; X]$。模型输出基于 $P$ 的梯度更新。
• 优点：适用于生成式任务（如文本生成），参数效率高。

5. 提示调整（Prompt-tuning）

• 描述：类似前缀调整，但仅添加少量可训练的提示向量（prompt）到输入层，而非整个序列前缀。这些向量通过微调学习任务特定表示。
• 关键公式：输入嵌入变为 $E' = [E_{\text{prompt}}; E_{\text{input}}]$，其中 $E_{\text{prompt}}$ 是可训练提示嵌入，$E_{\text{input}}$ 是原始输入嵌入。
• 优点：更轻量级，适合小样本学习，计算成本低。

6. 位拟合（BitFit）

• 描述：仅微调模型中的偏置项（bias terms），而冻结所有权重矩阵。这是一种极简方法，通过最小化参数更新量实现高效适应。
• 关键公式：对于每个偏置向量 $b$，优化目标为： $$ \min_{b} \mathcal{L}(b; \mathcal{D}) $$ 其他参数保持固定。
• 优点：参数量最小（通常 $<0.1%$ 的模型参数），适用于移动端或低资源设备。

7. P-tuning

• 描述：将离散提示（prompt）替换为连续可训练向量，并通过轻量级神经网络（如LSTM或MLP）优化这些向量。模型主体部分冻结，仅训练提示编码器。
• 关键公式：提示向量 $P$ 通过编码器生成： $P = \text{Encoder}_{\phi}(\text{初始提示})$，其中 $\phi$ 是可训练参数，损失函数优化 $\phi$。
• 优点：结合了提示工程和微调的优势，在少样本场景表现优异。

总结与建议

以上七种方法覆盖了从全面更新到参数高效微调的频谱：

• 资源需求：全参数微调计算开销最大，但性能最高；BitFit和Prompt-tuning最轻量。
• 适用场景：数据丰富时用全参数微调；资源受限时推荐LoRA或Adapter；少样本学习优先考虑P-tuning或Prefix-tuning。
• 实践建议：初学者可从Adapter或LoRA入手，逐步探索高级方法。所有方法均开源实现（如Hugging Face库），确保实验可复现。

通过掌握这些方法，您能更灵活地部署大模型到实际应用中。如需深入某方法细节，可提供具体任务场景，我将进一步解析！