一、单GPU训练

指定GPU:0 训练

CUDA_LAUNCH_BLOCKING=0 python train.py

指定其他GPU训练

CUDA_VISIBLE_DEVICES=1 python train.py

二、多GPU训练

需要修改代码

model = Your_model()
# 进行指定使用设备,这样会修改pytorch指定的设备编号如上则把device:2 改为 device:0,device:3 改为 device:1
os.environ["CUDA_VISIBLE_DEVICES"] = "2,3"  
# 则pytorch指定的编号还是从device:0 开始,指定使用程序为
model = torch.nn.DataParallel(model, device_ids=[0, 1]) 
model.to(device)

运行多GPU train脚本

python train_multi_GPU.py
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐