【珍藏版】LLaMA Factory大模型微调Qwen3 8B全流程详解：无需代码，轻松上手

LLaMA Factory是一个无需编写代码即可进行大模型微调的便捷平台。文章详细介绍了配置数据集、设置微调参数（包括LoRA相关参数）、开始微调和模型导出测试的全流程。强调了数据质量比数量更重要，并指出在实际应用中需要不断尝试不同参数组合以提升模型性能。

健忘的派大星

421人浏览 · 2025-11-12 11:16:09

健忘的派大星 · 2025-11-12 11:16:09 发布

前言

LLaMA Factory 是一个简单易用且高效的大型语言模型训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调。并且更新及时，是微调的好工具。

配置数据集

使用构建完成的数据集，命名为CCER.json。

1. 将CCER.json数据集添加到LLaMA Factory的data目录
1. 修改dataset_info.json注册数据集
将我们的ccer数据集添加进去，可以看到LLaMA Factory自带了很多数据集
```
{        ...  "ccer": {    "file_name":"CCER.json"  },  ... }
```

配置微调参数

选择模型、模型路径
选择微调方法，有lora，full，freeze三种(参考系列文章第二篇)，选择lora
选择训练数据集，在下拉框中，可以看到我们上一步注册ccer数据集

通用训练参数

学习率

描述：控制模型参数更新的步长。
建议：

常见范围是 1×10−4 到 5×10−4 (例如，1e-4, 3e-4)。
具体最佳值取决于模型、数据集和批次大小，需要实验调整。
可以配合学习率调节器 (learning rate scheduler) 使用，如 cosine 或 linear 衰减。

训练轮数

描述：整个训练数据集被模型学习的次数。
建议：

通常 1 到 5 个 epochs 可能就足够了，具体取决于数据集大小和任务复杂度。
密切监控验证集上的性能，以避免过拟合，并根据需要进行早停。

批处理大小

描述：每次参数更新所用的样本数量。
建议：

在显存允许的范围内，较大的批次大小通常能提供更稳定的梯度。
常见的批次大小有 4, 8, 16, 32 等。

LoRA参数

LoRA秩®

描述：LoRA 适配器中低秩分解矩阵的秩。它直接决定了添加到模型中的可训练参数数量。r 越大，可训练参数越多，理论上模型能学习到更复杂的模式，但也可能增加过拟合的风险和计算成本。
建议：

通常从较小的值开始尝试，如 4, 8, 16, 或 32，如果任务非常复杂或数据集非常大，可以尝试更大的 r 值，如 64 甚至 128。
权衡性能提升和增加的参数量/训练时间。较小的 r 值可以实现更快的训练和更小的模型文件。

LoRA缩放系数

描述：用于调整 LoRA 适配器输出的权重。通常，它被设置为与 r 相同的值或 r 的两倍。这个参数可以看作是对 LoRA 适配器激活的“强度”进行调整。
建议：

一个常见的做法是将 lora_alpha设置为 r 的两倍。例如，如果 r=8，则 lora_alpha=16。
需要实验确定

LoRA随即丢弃

描述：在 LoRA 层的 A 矩阵之后应用 dropout，以防止过拟合。
建议：

如果担心过拟合，可以设置一个较小的值，如 0.05 或 0.1。某些数据集或任务，不需要 dropout (可以设置为 0)。
如果训练数据较少，或者模型表现出过拟合的迹象，可以尝试增加 dropout 值。

LoRA+ 学习率比例(λ)

描述：LoRA+ 是一种对标准 LoRA微调方法的改进。对于嵌入维度较大的模型，这种做法可能略优于LoRA微调。
建议：

λ 应该大于等于 1。
标准的 LoRA 微调效果未达到预期，或者希望在相似的计算成本下获得更好的性能和更快的收敛速度，可以尝试 LoRA+。

rslora

描述：rsLoRA 旨在解决标准 LoRA 在使用较高秩 ® 时可能出现的训练不稳定和性能下降问题。
建议：

如果在使用标准 LoRA 并尝试增加秩时观察到训练困难、收敛缓慢或性能反而下降的情况，此时可以尝试 rsLoRA。
LoRA 在高秩下表现不佳或训练不稳定，那么 rsLoRA 是一个很好的选择。

DoRA

描述：DoRA 的目标是进一步缩小 LoRA 与全参数微调之间的性能差距，逼近全参数微调。
建议：

对微调后的模型性能有非常高的要求，如果发现标准 LoRA 的效果与全参数微调仍有一定差距，DoRA 提供了一个有潜力缩小这一差距的选项。

PiSSA

描述：PiSSA 的核心思想是改进 LoRA 中低秩适配器矩阵 A 和 B 的初始化方式以及优化目标，逼近全参数微调。
建议：

期望更快收敛和更好性能时。
需要对模型量化时，可以尝试，减少量化误差（与 QLoRA 结合时）。

开始微调

点击开始后，可以方便的查看进度以及loss趋势。

模型导出与测试

LLaMA Factory可以方便的导出模型到指定目录。

可以明显看出微调前后，对同一问题，微调后模型回答正确。

最后

至此，我们的大模型微调系列四篇文章已经全部完成。整个过程比较简单，但在实际工作中，需要不停的实验，尝试不同的数据集，参数组合，才能真正提升性能。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。