大模型微调实战——对事项做文本分类

随着大模型技术的不断发展，这种在消费级硬件上进行特定任务微调的模式，将极大地推动AI技术在各行各业的实际应用落地。

程序学到昏

445人浏览 · 2026-01-12 10:13:56

程序学到昏 · 2026-01-12 10:13:56 发布

上篇文章介绍了大模型微调的一些“心法”和注意事项，也算是进行了预热。本文将以DeepSeek-R1-Distill-Qwen-7B模型为例，详细介绍如何在NVIDIA RTX 4090（消费级GPU，打游戏用的水平，不需要非常专业的A100、H100这种GPU）显卡上微调大模型进行文本分类任务。我们将基于一个真实的12345政府热线工单分类场景，完整展示从环境准备到模型训练的整个流程。

1. DeepSeek-R1-Distill-Qwen-7B模型介绍

DeepSeek-R1-Distill-Qwen-7B是DeepSeek团队基于Qwen-7B基座模型开发的轻量化蒸馏版本，通过知识蒸馏技术将大型语言模型的核心能力压缩至70亿参数规模。该模型在保持优秀生成能力的同时，显著降低了推理计算需求，特别适合边缘计算和资源受限场景。

1.1 模型核心优势

参数效率：7B参数规模下达到接近30B模型的性能表现
推理速度：采用动态注意力机制，生成延迟显著优化
部署友好：支持FP16/BF16混合精度，内存占用较原始版本降低40%
多模态融合：为多模态技术融合提供坚实基础，支持复杂问题的逐步推理

1.2 技术特性

该模型在数学推理、代码生成和逻辑分析方面表现卓越，具有以下技术特点：

思维链推理：内置</think>标签机制，支持复杂问题的逐步推理
工具调用集成：标准化工具调用接口，支持外部工具和API集成
长上下文处理：支持长上下文处理能力
数学符号处理：优化的tokenizer配置，能精确处理数学表达式

2. 环境配置与模型加载

2.1 基础环境设置

首先，我们需要配置基础环境并加载所需的库：

import torch
from unsloth import FastLanguageModel
from datasets import load_dataset
from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supported
import numpy as np
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
import os
import wandb
from tqdm import tqdm
import re

代码解析：

使用unsloth库优化模型训练效率，这是针对大模型微调的高级封装库
trl库提供SFT（Supervised Fine-Tuning）训练器，简化训练流程
导入多种评估指标，用于后续模型性能评估

2.2 模型参数配置与加载

# 设置基本参数
max_seq_length = 896
dtype = None
load_in_4bit = True
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "/root/models/DeepSeek-R1-Distill-Qwen-7B",
max_seq_length = max_seq_length,
dtype = dtype,
load_in_4bit = load_in_4bit,
)

参数说明表：

参数	取值	说明
max_seq_length	896	模型最大序列长度，影响内存占用和训练效果
load_in_4bit	True	4位量化加载，显著降低显存需求
dtype	None	自动选择合适的数据类型

4位量化(4-bit)技术能在保持模型性能的同时，大幅降低显存占用，使得在消费级显卡上运行70亿参数模型成为可能。

2.3 LoRA适配器配置

FastLanguageModel.for_training(model)
model = FastLanguageModel.get_peft_model(
model,
r=64,
target_modules=[
"q_proj", "k_proj", "v_proj", "o_proj",
"gate_proj", "up_proj", "down_proj",
],
lora_alpha=64,
lora_dropout=0.05,
bias="none",
use_gradient_checkpointing="unsloth",
random_state=3407,
use_rslora=False,
loftq_config=None,
)

LoRA配置详解：

LoRA（Low-Rank Adaptation）是一种高效的大模型微调技术，通过低秩适配器实现参数高效更新。其核心思想如下图所示：

基础模型参数 → 冻结
↓
LoRA适配器 → 低秩分解 → 少量可训练参数
↓
微调后模型

关键参数作用：

r=64：LoRA秩，影响适配器的表达能力
target_modules：指定要微调的注意力模块
lora_alpha=64：LoRA缩放系数，影响适配器对原始参数的调整幅度
use_gradient_checkpointing="unsloth"：使用梯度检查点优化内存使用

3. 数据处理与提示词工程

3.1 任务特定的提示词设计

train_prompt_style = """你是一个12345政府热线处理中心的工作人员，根据问题内容，结合处办单位的职责，你需要把工单派发给以下单位中的一个。
### Instruction:
有以下70个处办单位：
[单位列表...]
请根据以下问题内容，给出正确的处办单位：
### Question:
{}
### Response:
</think>
{}
"""
EOS_TOKEN = tokenizer.eos_token
print(EOS_TOKEN)

提示词设计要点：

角色定义：明确模型在政府热线处理中的角色
任务说明：清晰描述文本分类任务的具体要求
结构化格式：使用Instruction-Question-Response的标准格式
思维链提示：包含</think>标签，引导模型进行逐步推理

这种指令微调格式能让模型更好地理解任务需求，提高分类准确性。

3.2 数据预处理流程

def formatting_prompts_func(examples):
inputs = examples["Question"]
cots = examples["Complex_CoT"]
outputs = examples["Response"]
texts = []
for input, cot, output in zip(inputs, cots, outputs):
text = train_prompt_style.format(input, cot, output) + EOS_TOKEN
texts.append(text)
return {"text": texts}
# 指定数据文件路径
data_files = "12345sentence.json"
dataset = load_dataset('json', data_files=data_files, split="train[0:]")
dataset = dataset.train_test_split(test_size=0.1, seed=42)
# 应用格式化函数
dataset = dataset.map(formatting_prompts_func, batched=True)

数据处理流程：

原始JSON数据 → 加载与分割 → 提示词格式化 → 训练就绪数据
↓              ↓             ↓
Question字段   训练/测试分割   添加指令模板
↓              ↓             ↓
CoT思维链     随机种子固定   添加EOS标记
↓              ↓             ↓
Response标签   比例控制     批量处理优化

这种数据预处理方式确保了模型能够接收到结构化的输入，包含了任务说明、示例数据和期望输出。

4. 训练配置与参数优化

4.1 训练参数详细配置

trainer = SFTTrainer(
model=model,
tokenizer=tokenizer,
train_dataset=dataset["train"],
dataset_text_field="text",
max_seq_length=max_seq_length,
dataset_num_proc=4,
args=TrainingArguments(
per_device_train_batch_size=2,
gradient_accumulation_steps=8,
warmup_steps=100,
num_train_epochs=1,
learning_rate=5e-5,
fp16=not is_bfloat16_supported(),
bf16=is_bfloat16_supported(),
logging_steps=50,
optim="adamw_8bit",
weight_decay=0.01,
lr_scheduler_type="cosine",
seed=3407,
output_dir="outputs_12345",
),
)

训练参数优化策略：

4.1.1 批次大小与梯度累积

per_device_train_batch_size=2：适应4090的24GB显存限制
gradient_accumulation_steps=8：等效批次大小=2×8=16，平衡训练稳定性和显存使用

4.1.2 学习率与优化器

learning_rate=5e-5,  # 适合分类任务的较小学习率
optim="adamw_8bit",  # 8位AdamW优化器，节省显存
lr_scheduler_type="cosine",  # 余弦退火调度，平滑收敛

4.1.3 精度与数值稳定性

fp16=not is_bfloat16_supported(),  # 自动选择混合精度
bf16=is_bfloat16_supported(),     # 优先使用bfloat16

不同精度格式对训练的影响对比：

精度格式	内存占用	训练速度	数值稳定性
FP32	高	慢	最佳
FP16	中	快	需梯度缩放
BF16	中	快	优于FP16

4.2 内存优化技术

针对RTX 4090的24GB显存限制，我们采用了多重优化策略：

4位量化：模型以4位精度加载，显著降低初始内存占用
梯度检查点：用计算时间换空间，减少激活值内存占用
梯度累积：模拟更大批次训练，不增加峰值显存需求
混合精度训练：平衡计算精度和内存效率
训练执行与监控

5.1 启动训练过程

trainer_stats = trainer.train()

训练过程启动后，系统会自动处理以下流程：

数据加载与批处理：将文本数据转换为模型可处理的token序列
前向传播：计算模型预测结果
损失计算：比较预测结果与真实标签
反向传播：计算参数梯度
参数更新：根据优化器策略更新模型参数

5.2 训练过程监控

建议使用WandB等工具监控以下关键指标：

训练损失：观察损失下降曲线，判断收敛情况
学习率变化：监控余弦退火调度的效果
梯度范数：确保梯度数值稳定性
显存使用：优化资源配置，避免OOM错误

模型性能评估与优化建议

6.1 性能评估指标

在文本分类任务中，我们应综合评估以下指标：

准确率：整体分类正确率
精确率：正类预测的准确性
召回率：正类识别的完整性
F1分数：精确率和召回率的调和平均

6.2 针对DeepSeek-R1-Distill-Qwen-7B的优化建议

思维链提示优化：充分利用模型的逐步推理能力，设计更细致的CoT提示
动态批处理：根据序列长度动态调整批次大小，提高训练效率
知识蒸馏：利用更大模型的输出作为软标签，提升小模型性能
实际应用与部署

训练完成后，模型可应用于实际的12345热线工单分类场景：

def classify_government_request(model, tokenizer, question
):
prompt = train_prompt_style.
format(question, "", "").replace("</think>\n{}", ""
)
inputs = tokenizer(prompt, return_tensors=
"pt", max_length=896, truncation=True
)
with
torch.no_grad():
outputs = model.generate(
inputs.input_ids,
max_new_tokens=
50
,
temperature=
0.7
,
do_sample=
True
,
pad_token_id=tokenizer.eos_token_id
)
response = tokenizer.decode(outputs[
0], skip_special_tokens=True
)
return extract_prediction(response)