【大模型微调】一文掌握7种大模型微调的方法-CSDN博客

大模型LLM：最清晰解读提示工程（Prompt Engineering）-CSDN博客

一、LLM三阶段

大模型的训练过程通常分为两大阶段：预训练和微调。

二、提示工程和微调的区分

• 上下游协作关系：例如，要构建一个法律领域的专业模型，可以先利用提示工程技巧（如角色设定、复杂提问）让一个通用大模型生成大量高质量的“法律问答对”，这些生成出来的数据就可以作为微调所需的训练数据集。也就是说，提示工程可以作为微调的数据准备工具。

• 当我们收集成千上万个（指令，期望输出）样例，例如（“总结以下文字”， “……”），然后用这些数据去训练一个基础模型，这个过程叫做指令微调。经过指令微调的模型（比如ChatGPT），其遵循指令的能力会得到根本性的提升。

• 从可解释性分类，提示可分为：
  • 硬提示：提示工程生成；
  • 软提示：提示调整生成。

三、常见的微调几种类型

1. 按更新参数的规模划分

• 全量微调 (Full Fine-tuning, FFT)

  • 定义：对预训练模型中的所有参数进行更新和调整。
  • 特点：模型适应性最强，能最大程度地拟合新数据。
  • 缺点：计算资源消耗极大（需要巨大的显存），且容易出现灾难性遗忘（Catastrophic Forgetting），即模型在学习新知识时忘记了原本预训练的通用知识。

• 参数高效微调 (Parameter-Efficient Fine-tuning, PEFT)

  • 定义：冻结预训练模型的大部分参数，仅更新或添加极少量（通常小于 1%）的可训练参数。
  • 特点：训练速度快，显存占用极低，且模型效果通常能逼近全量微调。
  • 主流技术：
    • LoRA (Low-Rank Adaptation)：目前最流行的技术。通过在原有权重矩阵旁增加低秩矩阵来模拟参数更新，推理时不增加额外延时。
    • QLoRA：结合了量化（Quantization）技术的 LoRA，可以在消费级显卡上微调大模型。
    • Adapter：在Transformer层之间插入小型的神经网络模块（Adapter layers）。
    • P-Tuning / Prefix Tuning：在输入层或隐层添加可训练的“提示词向量”（Soft Prompts），不改变模型主体结构。

2. 按训练目标和数据形式划分

• 有监督微调 (Supervised Fine-tuning, SFT)

  • 定义：使用标注好的输入-输出对（Prompt-Response）数据进行训练。
  • 作用：教会模型“如何说话”或执行特定任务（如摘要、问答、分类）。这是目前让基座模型（Base Model）变成聊天模型（Chat Model）的第一步。
  • 关键点：数据质量比数量更重要，通常用于指令微调。

• 基于人类反馈的强化学习 (RLHF)

  • 定义：引入奖励模型 (Reward Model)，利用强化学习算法（如 PPO）来优化模型。
  • 作用：让模型的输出更符合人类的价值观、偏好和安全标准（即对齐 Alignment）。
  • 流程：SFT -> 训练奖励模型 -> PPO 强化学习。

• 直接偏好优化 (Direct Preference Optimization, DPO)

  • 定义：一种较新的技术，跳过了显式的奖励模型建模步骤，直接利用偏好数据（A优于B）优化模型。
  • 特点：比 RLHF 更稳定、更简单、计算开销更小，目前正在逐渐取代传统的 RLHF 流程。

• 无监督/自监督微调 (Unsupervised Fine-tuning)

  • 定义：使用未标注的文本数据进行训练，通常形式与预训练类似（Next Token Prediction）。
  • 作用：通常用于领域适应，即让模型熟悉某个特定领域（如医学、法律）的术语和行文风格。也常被称为持续预训练 (Continued Pre-training)。

3. 按应用场景划分

• 指令微调 (Instruction Tuning)

  • 目标：增强模型遵循用户指令的能力。
  • 数据：包含各种类型的任务指令（如“请把这段话翻译成英文”、“解释量子力学”）。
  • 结果：模型泛化能力增强，能处理没见过的任务。

• 领域微调 (Domain Adaptation)

  • 目标：注入特定行业的知识。
  • 场景：金融大模型、医疗大模型、代码大模型。
  • 注意：通常需要混合通用数据以防止能力退化。

• 对齐微调 (Alignment Tuning)

  • 目标：确保模型有用、诚实且无害 (Helpful, Honest, Harmless - 3H原则)。
  • 手段：通常通过 RLHF 或 DPO 实现

4.组合应用

四、提示工程和提示微调的区别