LLama_factory webui简单快速部署微调Qwen大模型(在阿里云平台上操作)1
都说LLama factory的webui在微调语言模型时非常好用,但是家里面的电脑部署不了大语言模型怎么办?那就用阿里云吧,免费试用3个月呢。在试用界面领取DSW交互式建模,进入。左边那些是我已经下载好了的文件,不用在意点击上方的terminal(终端)在终端下载所需内容还是那句话,开源从你我开始~鸣谢【喂饭教程】20分钟学会微调大模型Qwen2.5,环境配置+模型微调+模型部署+效果展示详细教
0.前言
都说LLama factory的webui在微调语言模型时非常好用,但是家里面的电脑部署不了大语言模型怎么办?那就用阿里云吧,免费试用3个月呢。
在试用界面领取DSW交互式建模,进入。
镜像选第二个,其他的随便填,设备性能规格选合适的就行。



左边那些是我已经下载好了的文件,不用在意
点击上方的terminal(终端)在终端下载所需内容
1.LLama_factory和Qwen模型的下载
进入终端

输入如下指令下载LLama_factory:
拉取LLama-factory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
进入文件夹
cd LLaMA-Factory
创建环境(需要conda环境,怎么配置conda环境请看其他文档)进入环境
conda create -n llama_factory python=3.10
conda activate llama_factory
输入如下指令下载Qwen模型
git Ifs install
git clone https://www.modelscope.cn/Qwen/Qwen2-VL-2B-Instruct.git
2.如何打开webui
在终端输入(此时在LLama_factory文件夹下,且conda环境为llama_factory)
llamafactory-cli webui
点击其给出的地址即可进入webui界面进行微调

3.微调流程
简单的微调只需要注意:
1.模型的名称和路径
2.数据集(数据集在/mnt/workspace/LLaMA-Factory/data内,可以选择和更改为自己的数据集)
3.训练轮数(如果数据集数量少,尽量把轮数弄高点)

4.保存训练参数
5.载入训练参数
6.开始

7.检查点路径(完成上述步骤才有)
8.加载模型

9.实验微调后的模型,上传图片,问其微调后的问题。

可以看到模型回应的是微调后的内容。
4.总结
还是那句话,开源从你我开始~
鸣谢
【喂饭教程】20分钟学会微调大模型Qwen2.5,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~_哔哩哔哩_bilibili
陈同学的文档《本地部署与训练》
更多推荐


所有评论(0)