简介

文章介绍了五种优化大语言模型微调的方法：LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+。这些方法通过引入低秩矩阵、冻结部分参数、共享随机矩阵、增量更新或差异化学习率等技术，大幅减少训练参数和内存需求，同时保持或提升性能。不同方法适用于不同场景：LoRA适用于通用微调，LoRA-FA适合低显存设备，VeRA适合超低资源场景，Delta-LoRA适合高精度任务，LoRA+适合快速迭代。

---

传统微调方法（如下图所示）对于大语言模型而言并不可行，因为这些模型具有数百亿甚至千亿的参数量，而且显存需求高达数百GB，并非所有人都能获得如此规模的计算资源。

但如今，我们拥有多种优化大语言模型的微调方法，下图展示了五种主流技术：

1. LoRA**（Low-Rank Adaptation）**

LoRA 通过引入两个低秩矩阵 A（降维）和 B（升维）来微调预训练模型，仅训练这两个小矩阵，而冻结原始权重 W。这样可以大幅减少训练参数（如仅调整 0.1% 的参数），同时保持接近全量微调的性能。

将两个低秩矩阵A和B与权重矩阵叠加，这些权重矩阵包含可训练参数。不对W进行微调，而是调整这些低秩矩阵中的权重。

2. LoRA-FA**（LoRA with Frozen-A）**

LoRA-FA 是 LoRA 的改进版，冻结矩阵 A，仅训练矩阵 B，从而进一步减少激活内存需求（降低 1.4 倍），同时保持性能接近 LoRA。

虽然LoRA显著减少了训练参数的总量，但仍需大量激活内存来更新低秩权重。LoRA-FA（FA代表Frozen-A）通过冻结矩阵A并仅更新矩阵B来解决这一问题。

3. VeRA**（Vector-based Random Matrix Adaptation）**

在 LoRA 中，每一层都有一对不同的低秩矩阵A和B，且这两个矩阵都参与训练。然而在VeRA中，VeRA 采用共享随机矩阵 A 和 B，并引入可训练的缩放向量 d 和 b，使可训练参数比 LoRA 减少 10 倍以上，适用于低资源场景。VeRA的核心思想是学习微小的、特定于各层的缩放向量（记为b和d），这些向量是唯一可训练的参数。

4. Delta-LoRA

除了训练低秩矩阵外，矩阵W也会被调整，但并非采用传统方式。而是将连续两个训练步骤中低秩矩阵A与B乘积的差值（或增量）叠加到W上，从而增强表达能力，同时不增加额外计算成本：

5. LoRA+

在LoRA中，矩阵A和B均采用相同的学习率进行更新。研究者发现，为矩阵B设置更高的学习率能实现更优的收敛效果，提高训练效率，可加速训练，同时小幅提升准确率。

总结

技术	核心改进	训练参数	内存优化	性能表现	适用场景
LoRA	引入低秩矩阵 A、B 微调，冻结 W	较少（~0.1% 参数）	中等	接近全量微调	通用微调
LoRA-FA	冻结 A，仅训练 B	更少（比 LoRA 减半）	高	接近 LoRA	低显存设备
VeRA	共享随机 A、B，训练缩放向量 d、b	极少（比 LoRA 少 10 倍）	最高	略低于 LoRA	超低参数微调
Delta-LoRA	通过 BA 的梯度更新 W	较多（额外调整 W）	中等	优于 LoRA	高精度微调
LoRA+	A、B 采用不同学习率（B 更高）	同 LoRA	中等	略优于 LoRA	快速微调

• LoRA 是最基础的版本，适用于大多数微调任务。
• LoRA-FA 适合显存受限的环境。
• VeRA 参数效率最高，适合超低资源场景。
• Delta-LoRA 增强表达能力，适合需要更高精度的任务。
• LoRA+ 优化训练速度，适合快速迭代。

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓