PyTorch + HuggingFace Transformers 微调

这是目前大模型微调、NLP 任务落地最主流、最易用、最稳定的技术栈，我会从框架选择理由 → 核心学习路径 → 实战代码 → 关键知识点，一步步带你掌握。

一、为什么选这个组合？（微调框架选型结论）

1. 首选：PyTorch + HuggingFace Transformers + PEFT

这是工业界标准方案，没有之一：

• PyTorch：动态图、调试简单、生态最完善，适合模型微调 / 训练
• Transformers：一键加载几乎所有预训练模型（LLaMA、BERT、RoBERTa、GPT、Qwen 等）
• PEFT：HuggingFace 官方微调库，支持LoRA/QLoRA（低成本微调大模型，单卡就能跑）
• Accelerate：自动适配单卡 / 多卡 / CPU 训练，不用写复杂分布式代码

2. 其他框架对比（不用纠结）

框架	优点	缺点	推荐度
Transformers + PEFT	开箱即用、模型全、文档好	高度封装，灵活性一般	⭐⭐⭐⭐⭐
TensorFlow	部署友好	调试难、大模型生态差	❌
DeepSpeed	超大模型训练	配置复杂、新手劝退	⭐⭐
自研框架	完全灵活	重复造轮子、成本极高	❌

结论：新手 / 工业落地直接锁死 PyTorch + HuggingFace 全家桶。

---

二、学习路径（从入门到实战微调）

阶段 1：基础环境搭建（10 分钟）

先安装必备库，一行命令搞定：

# 核心库
pip install torch transformers datasets peft accelerate evaluate

# 可选：数据处理
pip install pandas numpy scikit-learn

阶段 2：必学核心模块（3 个足矣）

1. transformers：模型加载、tokenizer、训练器Trainer
2. datasets：加载 / 处理微调数据集
3. peft：低资源微调（LoRA）

---

三、核心知识点精讲（最实用部分）

1. HuggingFace Transformers 核心用法

（1）Tokenizer（文本→模型能看懂的数字）

所有 NLP 任务第一步：把文字编码成模型输入

from transformers import AutoTokenizer

# 1. 自动加载对应模型的分词器
model_name = "bert-base-chinese"  # 中文BERT
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 2. 编码文本
text = "你好，大模型微调"
inputs = tokenizer(
    text,
    truncation=True,    # 超长截断
    padding="max_length", # 不足补全
    max_length=128,     # 句子最大长度
    return_tensors="pt" # 返回PyTorch张量
)
# 输出：input_ids(编码), attention_mask(注意力掩码)
print(inputs)

（2）AutoModel 自动加载模型

支持分类、生成、问答、命名实体识别等所有任务：

from transformers import AutoModelForSequenceClassification

# 分类任务模型（微调最常用）
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    num_labels=2  # 二分类任务
)

（3）Trainer：傻瓜式训练器（不用写循环）

HuggingFace 最强大的功能，自动处理训练、验证、保存、优化：

from transformers import Trainer, TrainingArguments

# 训练参数
training_args = TrainingArguments(
    output_dir="./results",    # 输出路径
    per_device_train_batch_size=8, # 批次大小
    num_train_epochs=3,        # 训练轮数
    learning_rate=2e-5,        # 学习率（微调固定值）
    evaluation_strategy="epoch", # 每轮验证
    save_strategy="epoch"
)

# 绑定模型、参数、数据
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset
)

# 启动训练
trainer.train()

---

2. PEFT + LoRA 低成本微调（核心技能）

大模型微调必备：不用全量训练，只训练 1% 参数，单显卡就能跑

from peft import LoraConfig, get_peft_model

# 1. 配置LoRA
lora_config = LoraConfig(
    r=8,               # LoRA秩（常用8/16）
    lora_alpha=32,     # 缩放系数
    target_modules=["query", "value"], # 适配模型层
    lora_dropout=0.05,
    bias="none",
    task_type="SEQ_CLS" # 任务类型
)

# 2. 把原模型变成LoRA微调模型
model = get_peft_model(model, lora_config)
model.print_trainable_parameters() 
# 输出：trainable params: 147,456 (0.15%) → 只训练0.15%参数！

---

四、完整实战：中文情感分类微调（可直接运行）

这是最标准的微调模板，适用于所有 NLP 任务：

import torch
from datasets import load_dataset
from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
    Trainer, TrainingArguments
)
from peft import LoraConfig, get_peft_model

# ===================== 1. 加载数据 =====================
dataset = load_dataset("lansinuote/ChnSentiCorp")  # 中文情感数据集

# ===================== 2. 加载Tokenizer =====================
model_name = "bert-base-chinese"
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 数据编码函数
def tokenize_function(examples):
    return tokenizer(
        examples["text"],
        truncation=True,
        padding="max_length",
        max_length=128
    )

# 批量编码数据
tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 取小样本快速测试
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(500))

# ===================== 3. 加载模型 + LoRA =====================
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)

# LoRA配置
lora_config = LoraConfig(
    r=8, lora_alpha=32, target_modules=["query", "value"],
    lora_dropout=0.05, bias="none", task_type="SEQ_CLS"
)
model = get_peft_model(model, lora_config)

# ===================== 4. 训练配置 =====================
training_args = TrainingArguments(
    output_dir="./lora-finetune-bert",
    per_device_train_batch_size=8,
    num_train_epochs=3,
    learning_rate=2e-4,
    evaluation_strategy="epoch",
    logging_dir="./logs",
    logging_steps=10,
)

# ===================== 5. 启动训练 =====================
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset
)

trainer.train()

# 保存微调后的LoRA权重
model.save_pretrained("lora-bert-chinese")

---

五、学习重点总结

1. Tokenizer：负责文本编码，必须和模型配对
2. AutoModel：自动匹配模型结构，不用手动写网络
3. Trainer：封装训练全流程，不用写for循环
4. LoRA：大模型微调核心，单卡微调 7B/13B 模型
5. 固定超参：微调学习率用 2e-5 ~ 5e-4 最优

---

总结

1. 选型：PyTorch + HuggingFace Transformers + PEFT 是微调唯一最优解
2. 核心：Tokenizer 编码 → 模型加载 → LoRA 配置 → Trainer 训练
3. 优势：代码极简、支持所有模型、单卡可微调大模型
4. 上手：直接复制上面的完整代码，修改数据集和模型名就能用