上一篇讲了llamafactory如何本地化部署以及基于可视化界面，使用llamafactory自己的identity文件进行模型微调，微调大约300个epoch后，loss曲线基本接近拟合状态，此时在llamafactory的测试页面测试，基本上也能按照微调的结果结果进行回答。

本篇主要讲2个方面，一个是微调后的权重文件如何与base模型合并；一个是另外一款微调工具XTuner的本地化部署。

---

1.llamafactory模型合并

微调结束后，在llamafactory-saves里会有许多个权重文件，根据我们目前的设置，每100个epoch就保存有一份权重文件，我们选择最近的epoch为3000时的epoch文件，准备将其与base模型DeepSeek-r1-1.5B模型合并。

1.1准备合并

进入“Export”专题页面，，它主要有以下几个参数：最大分块大小、导出量化等级和导出设备。

最大分块大小：就是单个模型文件的大小，llamafactory默认是5GB。举个例子，稍微大点的模型，比如DeepSeek满血版，它的模型文件不是一个几百GB的文件，而是分割成一个一个模型文件，比如DeepSeek的模型文件一般就是5GB以内；qwen的模型软件如下图所示，一般不超过4GB，所以，使用默认值或者修改为4GB都可以，但不能设置过小，比如设置1GB，那可能会出现一些未知错误。

导出量化等级：这个就是模型量化，现在一般的大模型都是量化过的，大家打开开源模型的源码的config文件，可以看到正常都是bfloat16，所以现在对模型量化一般指的是int8或int4量化，不过我们这边暂时不使用，当前用的1.5B模型本来就很小，再量化，就很傻了。

导出量化数据集：这个一般用不上，使用默认值即可。

导出设备：这个就是指模型微调的时候使用的CPU还是GPU，我们一般都是GPU微调模型，所以这里选择auto。

导出目录：就是模型合并后的存储位置。在自己服务器存储模型的同级目录下即可，比如我就在DeepSeek的模型文件夹名称后加一个“_hebing”，到时候导出结束，就会自动将合并后的文件存储到这个文件夹内。

此时模型合并到处的配置基本好了，接下来把base模型的路径和拟打算用的权重文件的路径填写就行。

模型路径：输入base模型的绝对路径。

检查点路径：输入拟打算使用的权重文件的绝对路径。

以上参数输入完成后，点击导出，llamafactory后台就会开始合并模型，合并后的模型就在你之前输入的目录里，通过之前搭建的llamafactory框架，调用这个合并后的模型，就可以在服务器上与你合并后的模型开始对话，你可以试一试它微调的内容，看看它能不能按照你微调的方式回答你。

---

XTuner是上海人工智能实验室牵头做的框架，是书生系列中的微调框架，它与llamafactory有几点不一样：

a.llamafactory是基于可视化页面操作，参数的调整以及loss值都可以在页面直接看，但是Xtuner主要是后台操作，主要的参数调整都是通过后台命令调整，虽然它可以借助WandB实现部分可视化操作，但是和llamafactory相比，上手难度还是比较大；

b.llamafactory支持的模型数量更加丰富，xtuner支持的数量相比较于llamafactory来说，少一些，更新速度也慢一些；

c.xtuner在微调过程中，可以添加主观测试，在微调过程中你就可以看到根据你设置的主观问题，模型每微调几轮后的答复，这个更加直观有效。

2.XTuner本地化部署

第一步还是先看官方文档，地址“https://xtuner.readthedocs.io/zh-cn/latest/index.html”

2.1创建虚拟环境

每次用到一个新框架时，最好给它单独配一个虚拟环境，“conda create -n xtuner python=3.10 -y”，这里需要注意的是，正常我们安装虚拟环境的时候，会使用python=3.12，但是xtuner的最佳实践里推荐的是3.10，因此我们这边使用3.10.

2.2拉取源码

接着激活虚拟环境，使用命令“source activate xtuner”激活虚拟环境并进入。然后有2种方式进行安装，一种是pip方式直接安装，另一种使用git命令“gitclonehttps://github.com/InternLM/xtuner.git”拉取源代码，因为我们后面也在源代码里进行修改，所以我们这里使用git拉取源代码，拉取的时候如果速度比较慢，就现在虚拟环境中，使用学术加速命令“source /etc/network_turbo”，拉取成功后就等待安装。

2.3加速训练

如果涉及多卡的加速训练，这里还需要安装deepseed，通过命令“pipinstall-e'.[deepspeed]'”进行安装。这里需要注意的是，一定要在xtuner文件夹里进行安装。

2.4开始微调训练

首先在xtuner-xtuner-configs中，可以看到xtuner支持的所有的模型，包含qwen、DeepSeek、chatglm等主流模型，但支持的模型数量与llamafactory相比，是比较少的。如果你想使用的模型版本不在这个目录里，那就不太好使了。这里xtuner支持最低的DeepSeek为7B，太大了，我这里就下载个小模型，qwen0.5B为例使用。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？

别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明：AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！