RT-DETR（2023）自定义数据集训练与微调指南

RT-DETR（Real-Time DEtection TRansformer）是2023年提出的高效目标检测模型，结合了Transformer的全局建模能力与实时推理速度。以下为完整操作流程：

---

1. 数据集准备

要求格式：COCO标准格式（推荐）

• 目录结构：

  custom_dataset/
  ├── images/          # 存放所有图像
  │   ├── train2017/   # 训练集图像
  │   └── val2017/     # 验证集图像
  └── annotations/     # 标注文件
      ├── instances_train2017.json
      └── instances_val2017.json
  

• 标注文件关键字段：

  {
    "categories": [{"id": 1, "name": "cat"}, {"id": 2, "name": "dog"}],
    "images": [{"id": 1, "file_name": "001.jpg", "height": 480, "width": 640}],
    "annotations": [{"id": 1, "image_id": 1, "category_id": 1, "bbox": [x,y,w,h]}]
  }
  

---

2. 环境配置

安装依赖：

pip install paddlepaddle-gpu==2.5.1 paddledet

---

3. 配置文件修改

修改configs/rtdetr/rtdetr_r50vd_6x_coco.yml：

# 关键参数调整
metric: COCO
num_classes: 2  # 与自定义数据集类别数一致
dataset_dir: ./custom_dataset

TrainDataset:
  dataset_dir: custom_dataset
  anno_path: annotations/instances_train2017.json
  image_dir: images/train2017

EvalDataset:
  dataset_dir: custom_dataset
  anno_path: annotations/instances_val2017.json
  image_dir: images/val2017

---

4. 模型训练

启动命令：

python tools/train.py \
  -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
  --eval \
  --use_vdl=True  # 启用VisualDL日志

关键参数：

• --resume_checkpoint: 从断点继续训练
• --pretrained_weights: 指定预训练权重（如rtdetr_r50vd_6x_coco.pdparams）
• 训练过程监控：

  visualdl --logdir output/vdl_log --port 8080  # 通过浏览器查看训练曲线
  

---

5. 模型微调策略

优化方向：

1. 学习率调整（配置文件修改）：

   LearningRate:
     base_lr: 0.0001  # 微调时建议降低至1/10
     schedulers:
       - !PiecewiseDecay
         gamma: 0.1
         milestones: [40000, 45000]
   

2. 冻结骨干网络（减少过拟合）：

   # 在train.py中插入代码
   model.backbone.freeze()
   

3. 数据增强强化：

   TrainTransforms:
     - !RandColorAdjust
       brightness: 0.3
       contrast: 0.2
     - !RandomFlip
       prob: 0.8
   

---

6. 模型评估与导出

评估性能：

python tools/eval.py \
  -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
  -o weights=output/rtdetr_r50vd_6x_coco/best_model.pdparams

导出推理模型：

python tools/export_model.py \
  -c configs/rtdetr/rtdetr_r50vd_6x_coco.yml \
  -o weights=output/rtdetr_r50vd_6x_coco/best_model.pdparams \
  --output_dir=inference_model

---

7. 常见问题解决

问题现象	解决方案
训练Loss震荡	降低学习率，增大batch_size
验证集mAP低	检查标注质量，增加数据增强
GPU内存不足	减小batch_size，使用AMP混合精度训练
推理速度慢	导出模型时启用trt加速

注意：微调小数据集时，建议使用预训练权重（官方模型库），训练轮次不超过50epoch。

通过以上步骤，可高效完成RT-DETR在自定义数据集的迁移学习，平衡检测精度与推理速度。