程序员必看!告别复杂代码!LLaMA Factory一键微调大模型,Web UI界面友好,小白也能轻松上手AI开发
LLaMA Factory是一个开源大语言模型微调框架,支持100+种模型如LLaMA、ChatGLM、Qwen等,提供LoRA、QLoRA等高效微调技术,拥有直观Web UI界面,支持零代码操作。本文详细介绍了环境配置、安装步骤及通过gradio创建公开域名链接的方法,覆盖从模型预训练到指令微调的全流程,适合研究者、开发者和企业用户快速构建定制化大语言模型应用。
什么是 LLaMA Factory**?**
LLaMA Factory 是一个开源的大语言模型微调框架,它提供了一套高效、易用的工具集,支持多种主流大语言模型(如 LLaMA、ChatGLM、Qwen 等)的微调与部署。该框架具有以下突出特点:
·支持模型丰富:兼容 100+ 种大语言模型,涵盖 LLaMA、Baichuan、ChatGLM、Qwen 等主流架构
·训练效率高:集成多种高效微调技术(LoRA、QLoRA 等),大幅降低显存需求
·界面友好:提供直观的 Web UI,支持零代码操作的模型训练与推理
·功能完整:覆盖模型预训练、指令微调、奖励模型训练等全流程
无论您是研究者、开发者还是企业用户,LLaMA Factory 都能帮助您快速构建和定制专属的大语言模型应用。
环境配置与LLaMA Factory安装
一、安装git
在终端中执行以下命令,安装 Git 版本工具:
sudo apt install git
下载LLama-factory
使用 Git 克隆 LLaMA Factory 项目仓库:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

三、安装conda
1、安装Conda 所需依赖:
sudo apt install libgl1-mesa-glx libegl1-mesa libxrandr2 libxrandr2 libxss1 libxcursor1 libxcomposite1 libasound2 libxi6 libxtst6

2、下载conda 安装包
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

3、安装conda
bash Anaconda3-2024.10-1-Linux-x86_64.sh
一路回车和yes,注意: 终端出现Anaconda3 will now be installed into this location:可输入自定义路径进而支持自定义conda安装路径(直接回车会默认安装到HOME目录)。


4、conda配置环境,默认没有配置环境(如下图)

查看conda安装位置

输入 nano ~/.bashrc

在bashrc文件的最后一行加入:export PATH=/home/ad/anaconda3/bin:$PATH (ad是自己的用户名)。按Ctrl+x 保存并退出编辑

配置生效

用conda -V查看版本正常了

四、创建环境
1、创建llama-factory微调环境
conda create -n llama-factory python=3.10


激活环境
conda activate llama-factory
我这里配置环境后直接进入激活环境报错(要先初始化)

解决:
source activate(重新进入虚拟环境)
conda deactivate (退出性能环境)
conda activate llama-factory(重新激活虚拟环境)
2、进入llama-factory环境后,进入到LLama-Factory文件下,安装相关依赖
pip install -e “.[torch,metrics]” --no-build-isolation -i https://mirrors.aliyun.com/pypi/simple


3、启动LLama-Factory

(这里我用的是虚拟机ubuntu20.4安装LLama-Factory,可以在win系统下通过虚拟机IP地址访问LLama-Factory界面)

ubuntu可视化系统也能访问LLama-Factory

五、gradio公开域名微调
如果ubuntu是服务器版本没有桌面的,你又想使用图形化微调,可以通过gradio创建公开域名链接进行微调
0表示第一张显卡:CUDA_VISIBLE_DEVICES=0
1表示创建1个域名链接:GRADIO_SHARE=1
查看有多少张卡:
nvidia-smi -L

1、启动命令行:
CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli
gradio报错:

解决:
创建目录:mkdir -p /home/ad/.cache/huggingface/gradio/frpc

进入目录:cd /home/ad/.cache/huggingface/gradio/frpc

这个下载方式可能有问题:
wget https://github.com/gradio-app/gradio/raw/main/gradio/frpc_linux_amd64-O frpc_linux_amd64_v0.3

我用win浏览器下载,然后手动上传到frpc文件下:
链接:https://cdn-media.huggingface.co/frpc-gradio-0.3/frpc_linux_amd64

上传进frpc文件里,然后重命名 mv frpc_linux_amd64 frpc_linux_amd64_v0.3

添加权限 chmod +x frpc_linux_amd64_v0.3

启动 CUDA_VISIBLE_DEVICES=0 GRADIO_SHARE=1 llamafactory-cli webui

这样就生成了一条公开域名,你也可以分享给其他人用:
https://265175b551a47a2dd5.gradio.live/
至此你已经部署好了LLaMA Factory

(如果你还不知道大模型数据集怎么制作、模型怎么下载,请在本公众号搜索相关文章学习。)
训练效果展示

那么,如何系统的去学习大模型LLM?
作为一名深耕行业的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
👉大模型学习指南+路线汇总👈
我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
更多推荐



所有评论(0)