QLoRA、AdaLoRA、DoRA、LoRA-GA与MoRA的英文全称及技术内涵解析

（基于2025年技术语境）

这些技术均以LoRA为基础，通过量化压缩（QLoRA）、动态架构（AdaLoRA）、矩阵分解（DoRA）、优化策略（LoRA-GA）和训练动力学（MoRA）五大维度推动低秩适应技术的边界。选择时需权衡显存、精度、速度与任务复杂度，例如：

• 移动端部署→QLoRA
• 多任务学习→AdaLoRA
• 高精度生成→DoRA
• 快速实验→LoRA-GA
• 复杂推理→MoRA

一、QLoRA: Quantized Low-Rank Adaptation

• 核心含义：
  将**量化（Quantization）**与低秩适应（LoRA）结合，通过4/8-bit精度压缩模型参数，显著降低显存需求。
• 技术突破：
  • 量化策略：采用NF4（4-bit NormalFloat）格式，误差比传统INT4降低37%[1] 。
  • 双量化（Double Quantization）：对量化常数二次压缩，175B模型训练显存从48GB降至24GB。
• 应用场景：
  单卡训练超大模型（如Llama-3-400B）、移动端部署。

二、AdaLoRA: Adaptive Low-Rank Adaptation

• 核心含义：
  动态调整低秩矩阵的秩（Adaptive Rank Allocation），根据任务重要性为不同模块分配不同秩。
• 技术突破：
  • 基于Hessian矩阵的秩敏感度分析，自动分配高秩给关键层（如注意力模块）。
  • 在GLUE多任务评测中，显存效率比标准LoRA提升30%[2] 。
• 应用场景：
  多任务联合微调、异构数据适配（如同时处理文本与代码）。

三、DoRA: Directional Orthogonalized Rank Adaptation

• 核心含义：
  将权重更新分解为方向正交化（Directional Orthogonalization）的幅度与方向分量。
• 技术突破：
  • 幅度向量（Magnitude Vector）控制更新强度，方向矩阵（Direction Matrix）约束更新方向正交性。
  • 在ImageNet-1K分类任务中，Top-1准确率比LoRA提升2.3%[3] 。
• 应用场景：
  高精度医学影像分割、对抗性微调（Adversarial Fine-tuning）。

四、LoRA-GA: Low-Rank Adaptation with Gradient Alignment

• 核心含义：
  通过梯度对齐（Gradient Alignment）优化低秩矩阵初始化，加速收敛。
• 技术突破：
  • 预计算预训练模型梯度统计量，初始化时使低秩矩阵方向与任务梯度分布对齐。
  • 在代码生成任务中，收敛速度提升3倍，最终BLEU分数提高5.8%[4] 。
• 应用场景：
  快速迭代开发、小样本学习（Few-shot Learning）。

五、MoRA: Momentum Rank Adaptation

• 核心含义：
  引入动量机制（Momentum）的低秩适应，增强训练稳定性与泛化能力。
• 技术突破：
  • 动量累积历史梯度信息，抑制参数震荡，数学证明任务GSM8K准确率提升12%。
  • 支持动态秩衰减策略，训练后期自动降低冗余秩[5] 。
• 应用场景：
  复杂逻辑推理、长文本连贯性优化。

拓展对比：技术演进关系