目录

一、整体技术架构

二、vLLM 推理框架原理解析

1 为什么不用传统推理框架？

2 vLLM 核心优化

（1）PagedAttention（核心创新）

（2）连续批处理（Continuous Batching）

（3）KV Cache 复用

三、Qwen 模型特点

四、vLLM 部署 Qwen 实战

1 环境准备

2 启动服务

3 API调用

4 性能优化参数

五、LLaMA-Factory 微调原理

1 LoRA 原理

2 QLoRA 原理

六、LLaMA-Factory 微调实战

1 安装

2 数据格式

3 启动微调

4 合并权重

七、训练 + 推理一体化流程

八、企业级优化建议

1 推理优化

2 训练优化

3 成本优化

九、常见问题

Q1：显存不够怎么办？

Q2：推理慢怎么办？

十、总结

---

vLLM 推理 + Qwen 部署 + LLaMA-Factory 微调全流程

在企业私有化大模型落地过程中，最核心的两个问题是：

• 如何 高效部署大模型（推理）

• 如何 低成本微调模型（训练）

本文将围绕三大核心组件展开：

• 推理框架：vLLM

• 基座模型：Qwen2

• 微调框架：LLaMA-Factory

实现一个完整的：

👉 企业级大模型训练 + 推理闭环系统

---

一、整体技术架构

完整链路如下：

数据集
 ↓
数据清洗
 ↓
模型微调（LLaMA-Factory）
 ↓
模型权重
 ↓
vLLM推理服务
 ↓
API服务
 ↓
业务系统

---

二、vLLM 推理框架原理解析

1 为什么不用传统推理框架？

传统方案：

• HuggingFace Transformers

• PyTorch 原生推理

问题：

显存利用率低
并发性能差
吞吐量低

---

2 vLLM 核心优化

vLLM 的核心优势来自 三大技术：

---

（1）PagedAttention（核心创新）

这是 vLLM 的核心技术。

原理：

• KV Cache 按页管理（类似操作系统内存分页）

• 避免显存碎片

• 支持动态扩展

效果：

显存利用率 ↑
并发能力 ↑
吞吐量 ↑

---

（2）连续批处理（Continuous Batching）

传统推理：

请求1 → 完成 → 请求2 → 完成

vLLM：

请求1
请求2
请求3
同时执行

优势：

• GPU 利用率最大化

• 延迟降低

---

（3）KV Cache 复用

• 避免重复计算

• 提升长文本推理性能

---

三、Qwen 模型特点

Qwen 是目前企业常用模型之一。

优势：

中文能力强
推理能力优秀
支持长上下文
开源可商用

常用版本：

• 7B（轻量）

• 32B（企业推荐）

• 72B（高性能）

---

四、vLLM 部署 Qwen 实战

1 环境准备

pip install vllm
pip install transformers

---

2 启动服务

python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2-7B-Instruct \
--tensor-parallel-size 1 \
--gpu-memory-utilization 0.9

---

3 API调用

import requests

url = "http://localhost:8000/v1/chat/completions"

data = {
    "model":"Qwen",
    "messages":[
        {"role":"user","content":"介绍一下大模型"}
    ]
}

res = requests.post(url,json=data)

print(res.json())

---

4 性能优化参数

关键参数：

--max-model-len 8192
--gpu-memory-utilization 0.9
--tensor-parallel-size 2

---

五、LLaMA-Factory 微调原理

LLaMA-Factory 是目前最流行的微调框架之一。

支持：

方法	特点
全参数微调	效果最好，成本最高
LoRA	性价比最高
QLoRA	最省显存

推荐：

👉 90% 企业选择 LoRA

---

1 LoRA 原理

核心思想：

👉 只训练低秩矩阵

公式：

W ≈ W + A×B

优势：

• 参数量小

• 显存占用低

• 训练速度快

---

2 QLoRA 原理

特点：

• 4bit量化

• 极低显存

适合：

单卡训练
个人开发

---

六、LLaMA-Factory 微调实战

1 安装

git clone https://github.com/hiyouga/LLaMA-Factory
cd LLaMA-Factory
pip install -r requirements.txt

---

2 数据格式

[
  {
    "instruction":"介绍AI",
    "input":"",
    "output":"人工智能是..."
  }
]

---

3 启动微调

python src/train.py \
--model_name_or_path Qwen/Qwen2-7B \
--dataset data.json \
--finetuning_type lora \
--output_dir output

---

4 合并权重

python src/export_model.py \
--model_name_or_path output \
--export_dir merged_model

---

七、训练 + 推理一体化流程

完整闭环：

数据
 ↓
微调（LLaMA-Factory）
 ↓
导出模型
 ↓
vLLM加载
 ↓
推理服务

---

八、企业级优化建议

1 推理优化

使用vLLM
开启并行推理
合理设置batch

---

2 训练优化

优先使用LoRA
数据质量 > 数据数量
控制训练轮数

---

3 成本优化

使用量化模型
多实例共享GPU
冷热模型分离

GPU	显存	适用场景
NVIDIA A100 80GB	80GB	训练 + 推理
NVIDIA H100	80GB	高端训练
NVIDIA L40S	48GB	推理
NVIDIA RTX 4090	24GB	小规模

---

九、常见问题

Q1：显存不够怎么办？

使用4bit量化
降低模型规模
使用多卡并行

---

Q2：推理慢怎么办？

使用vLLM
增加batch
开启KV cache

---

十、总结

完整技术链路：

LLaMA-Factory（微调）
 ↓
模型权重
 ↓
vLLM（推理）
 ↓
API服务
 ↓
企业应用

---

最后一句话总结

👉

vLLM 解决“推理效率”问题
LLaMA-Factory 解决“模型定制”问题
Qwen 提供“模型能力基础”

三者结合，就是：

👉 企业私有化大模型的最优解