LLaMA-Factory 入门：Mac 大模型微调内存不足的解决方案

理解内存不足的核心问题

Mac 设备的物理内存通常有限，尤其在微调大模型时，显存和内存的双重压力容易导致崩溃。LLaMA-Factory 提供了一种模块化的轻量化微调方案，通过量化、梯度检查点等技术降低资源消耗。

选择适合 Mac 的轻量化配置

在 LLaMA-Factory 的配置文件中，调整以下参数可显著减少内存占用：

• 模型量化：选择 4-bit 或 8-bit 量化版本，例如加载 llama-2-7b-chat-4bit。
• 批处理大小：将 batch_size 设置为 1 或 2，避免一次性处理过多数据。
• 梯度检查点：启用 gradient_checkpointing，以时间换空间。

示例配置片段（YAML 格式）：

model_name: llama-2-7b-chat-4bit  
batch_size: 1  
gradient_checkpointing: true  

优化数据加载与处理

使用 Dataset 模块时，避免全量数据加载。采用流式读取或分片加载策略：

• 通过 num_workers 参数控制数据加载线程数，推荐设置为 CPU 核心数的 1/2。
• 启用 persistent_workers 减少重复初始化开销。

利用 macOS 的虚拟内存机制

通过调整系统交换空间（Swap）缓解内存压力：

1. 检查当前交换空间：

   sysctl vm.swapusage  
   

2. 若需扩展，临时增加交换文件（需管理员权限）：

   sudo dd if=/dev/zero of=/private/var/vm/swapfile bs=1G count=8  
   sudo chmod 600 /private/var/vm/swapfile  
   sudo vim /etc/hostconfig  # 添加 SWAPFILE=-YES-  
   

监控与调试工具推荐

• 活动监视器：观察内存和 GPU 使用情况，识别瓶颈进程。
• PyTorch Profiler：定位模型加载或训练阶段的内存泄漏点。
  示例代码：

  from torch.profiler import profile, record_function  
  with profile(activities=[ProfilerActivity.CPU]) as prof:  
      train_model()  
  print(prof.key_averages().table())  
  

常见问题与修复

• OOM（Out of Memory）错误：降低 max_seq_length 或启用 fp16 混合精度训练。
• CUDA 报错：确认 PyTorch 版本与 macOS 的 Metal 后端兼容性，使用 device="mps" 参数。

通过上述方法，即使在 16GB 内存的 MacBook Pro 上，也能完成 7B 级别模型的参数高效微调（PEFT）。实际测试中，4-bit 量化配合梯度检查点可将内存占用控制在 12GB 以内。