0.前言

都说LLama factory的webui在微调语言模型时非常好用,但是家里面的电脑部署不了大语言模型怎么办?那就用阿里云吧,免费试用3个月呢。

在试用界面领取DSW交互式建模,进入。

镜像选第二个,其他的随便填,设备性能规格选合适的就行。

左边那些是我已经下载好了的文件,不用在意

点击上方的terminal(终端)在终端下载所需内容

1.LLama_factory和Qwen模型的下载

进入终端

输入如下指令下载LLama_factory:

拉取LLama-factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

进入文件夹

cd LLaMA-Factory

创建环境(需要conda环境,怎么配置conda环境请看其他文档)进入环境

conda create -n llama_factory python=3.10
conda activate llama_factory

输入如下指令下载Qwen模型

git Ifs install
git clone https://www.modelscope.cn/Qwen/Qwen2-VL-2B-Instruct.git

2.如何打开webui

在终端输入(此时在LLama_factory文件夹下,且conda环境为llama_factory)

llamafactory-cli webui

点击其给出的地址即可进入webui界面进行微调

 

3.微调流程

简单的微调只需要注意:

1.模型的名称和路径

2.数据集(数据集在/mnt/workspace/LLaMA-Factory/data内,可以选择和更改为自己的数据集)

3.训练轮数(如果数据集数量少,尽量把轮数弄高点)

4.保存训练参数

5.载入训练参数

6.开始

7.检查点路径(完成上述步骤才有)

8.加载模型

9.实验微调后的模型,上传图片,问其微调后的问题。

可以看到模型回应的是微调后的内容。

4.总结

还是那句话,开源从你我开始~

鸣谢

WebUI - LLaMA Factory

【喂饭教程】20分钟学会微调大模型Qwen2.5,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~_哔哩哔哩_bilibili

陈同学的文档《本地部署与训练》

 

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐