你是否曾梦想拥有一个专属的大语言模型，却因天价显卡和复杂技术望而却步？今天，我要向你介绍一个革命性的平台——LLaMA-Factory，它能让你在单张24G显存显卡上轻松微调属于自己的大模型！

1. LLaMA-Factory是什么？

LLaMA-Factory是一个开源的大语言模型训练与微调平台，它让模型定制变得异常简单。无论是想让模型拥有特定行业知识，还是塑造独特的对话风格，这个平台都能帮你实现。

官网：https://llamafactory.readthedocs.io/zh-cn/latest/index.html

2. 准备工作

硬件与系统要求

①　操作系统：Ubuntu 22.04

②　显卡：英伟达显卡，至少24G显存

③　CUDA：安装适合你显卡的CUDA版本

平台注册与资源获取

魔搭社区账号：https://www.modelscope.cn/

①　提供丰富的模型库和数据集

②　建议在-instruct模型基础上进行微调

③　数据集尽量使用Alpaca格式

备注：公司训练模型则可以使用AutoDL平台来训练

知识扩展：什么是LoRA？

Low-Rank Adaptation，低秩适应，主要负责参数微调，用最少得信息，去抓住最关键的变化。

3. LLaMA-Factory 安装

依赖安装

在安装 LLaMA-Factory 之前，请确保您安装了下列依赖，运行以下指令以安装 LLaMA-Factory 及其依赖，将LLaMA-Factory的依赖拉取到本地。

我的Notebook–点击+选择Terminal中断-输入以下命令：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

进入目录并确认在目录内：

Cd LLaMA-F
Pwd

安装LLaMA-Factory相关依赖（可能会遇到依赖冲突）：

pip install -e ".[torch,metrics]"

遇到依赖冲突？这样解决：

错误：

解决依赖冲突：

pip install --no-deps -e .

然后重新运行以下命令

pip install -e ".[torch,metrics]"

验证成功：

Llamafactory-cli version

数据处理

LLaMA-Factory/data文件夹下有个dataset.json包含了所有经过预处理的本地数据集以及在线数据集。如果希望用自定义数据集，务必在这个文件中添加对数据集机器内容的定义。

点击WebIDE方便查看

Json文件中的数据与文件列表的关系：

如identity大模型的自我认知的训练集定义，在dataset.json中定义，然后在data的文件夹下创建identity.json的文件。

Dataset.json的定义方式：

“数据集名称”：{

“file_name”:”文件名”

}

数据集文件（指令微调SFT，又叫指令监督数据集）的格式如：

{
"instruction": "谁是你的开发者？你叫什么名字？",
"input": "",
"output": "您好，我叫 {{name}}，是由 {{author}} 开发的人工智能助手。我旨在帮助用户解决问题和提供支持。"
},

各字段含义：

• instruction：人类指令（如“计算物品的总费用”）
• input：人类输入（如“汽车3000美元，衣服100美元，书籍20美元”）
• output：模型回答（如“总费用：3000+100+20=3120美元”）

SFT训练

选择并下载模型：终端创建model文件夹，下载可以训练的模型，魔塔社区-模型库，搜索Meta-Llama-3-8B-Instruct

点击下载模型，选择git下载，根据步骤下载

git clone
https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

Llama文件夹下example/train_lora微调文件夹下，选择/mnt/workspace/LLaMA-Factory/examples/train_lora/llama3_lora_sft.yaml

文件内容解析：

### model 模型相关配置
model_name_or_path：模型id，模型本地路径
trust_remote_code：允许加载远程代码，加载自定义代码，如分词操作
### method 训练方法相关配置
Stage：监督微调
do_train：是否启用训练
finetuning_type：设置调参方法
lora_rank控制矩阵大小
lora_target指定使用lora的全部模块
### dataset 训练集
dataset训练集名称，用逗号隔开
template使用哪个模板进行回答，这里使用llama3对话模板机型回答输入
cutoff_len输入到模型的长度
max_samples最大的样本数量，最多从训练集使用多少样本来训练
overwrite_cache你是否要开启预处理缓存，
preprocessing_num_workers控制工作线程数量
dataloader_num_workers加载数据时使用的进程数量
### output 输出结果
output_dir: saves/llama3-8b/lora/sft微调好之后，模型的输出位置
logging_steps: 10每10个训练打印一次日志
save_steps: 500每500步保存一个检查点
plot_loss: true损失函数，结束后是否要生成损失函数的图像
overwrite_output_dir: true如果觉得模型训练不好，将原先的训练结果覆盖掉
save_only_model: false只保存模型，模型还有些权重文件，可以用在以后的训练，所以不应该仅仅保存模型
report_to: none  # choices: [none, wandb, tensorboard, swanlab, mlflow]要不要将报告上传到某些平台上，none就是不上传
### train超参
per_device_train_batch_size: 1每个GPUbasesize为1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4学习率
num_train_epochs: 3.0训练轮数
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true设置模型的精度超参 blfloat
ddp_timeout: 180000000
resume_from_checkpoint: null
### eval模型评估，暂时忽略
# eval_dataset: alpaca_en_demo
# val_size: 0.1
# per_device_eval_batch_size: 1
# eval_strategy: steps
# eval_steps: 500每500步评估下模型

Llama文件夹下example>train_lora>llma3-lira-sft.yaml文件

因为我们是在本地，所以需要修改model_name_or_path，copy modal文件夹下的模型路径：/mnt/workspace/model/Meta-Llama-3-8B-Instruct

替换掉data文件夹下identity大模型自我介绍中用{{}}变量的值，如name修改成自定义的名称，author修改作者名，crtl+s保存文件

微调

examples/train_lora/llama3_lora_sft.yaml 中的参数进行微调，进入llmafactory文件夹目录下运行：

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

模型开始微调

推理

/mnt/workspace/LLaMA-Factory/examples/inference/llama3_lora_sft.yaml下的修改生成的模型路径为本地路径：/mnt/workspace/model/Meta-Llama-3-8B-Instruct

adapter_name_or_path：训练完成的路径

llamafactory-cli chat /mnt/workspace/LLaMA-Factory/examples/inference/llama3_lora_sft.yaml

测试对话

备注：

Ctrl+C终端退出推理

LoRA合并

我们不希望每次推理的时候都要加载基础模型后再加载我们训练后的模型，所以需要进行合并。

Example下merge-lora文件夹下的LLaMA-Factory/examples/merge_lora/llama3_lora_sft.yaml

修改为本地路径：/mnt/workspace/model/Meta-Llama-3-8B-Instruct

adapter_name_or_path：预训练的模型保存的路径

export_dir导出目录

进入llamafactory目录下

执行合并命令：

llamafactory-cli export /mnt/workspace/LLaMA-Factory/examples/merge_lora/llama3_lora_sft.yaml

合并后会产生文件夹output，合并后的模型将保存在output文件夹中。

将inference文件夹LLaMA-Factory/examples/inference/llama3_lora_sft.yaml做以下修改：

修改model_name_or_path路径为/mnt/workspace/LLaMA-Factory/output/llama3_lora_sft

adapter_name_or_path注释掉

再进行推理

llamafactory-cli chat /mnt/workspace/LLaMA-Factory/examples/inference/llama3_lora_sft.yaml

交互界面

觉得命令行太复杂？试试Web界面！

终端输入命令：

llamafactory-cli webui

可以通过web页面进行微调大模型，通过Web页面轻松微调大模型，体验极佳！

LLaMA-Factory的出现，彻底降低了大模型定制化的门槛。现在，即使是个体开发者或小团队，也能在有限资源下打造专属的智能助手！

立即行动，用LLaMA-Factory释放大模型的无限可能，让你的创意在AI时代闪闪发光！

本文涉及的所有工具和平台均提供免费资源，立即开始你的大模型微调之旅吧！

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！