在训练过程中跑验证集导致显存out of memory问题。
文章目录前言正文总结前言在训练模型时，笔者想要每训练一个epoch，记录一下val的准确率，但是每当训练完第一个epoch开始准备跑val数据集的时候，就会出现显存double然后溢出的情况（batch_size在验证和训练时设置相同）。此处将复现笔者出现的问题，并给出解决方案。正文原始训练流程：for eopch in epochs:for data,label in train_dataloa
·
前言
在训练模型时，笔者想要每训练一个epoch，记录一下val的准确率，但是每当训练完第一个epoch开始准备跑val数据集的时候，就会出现显存double然后溢出的情况（batch_size在验证和训练时设置相同）。此处将复现笔者出现的问题，并给出解决方案。
正文
原始训练流程：
for eopch in epochs:
for data,label in train_dataloader：
model.train()
train(model,data,label)
model.eval()
val(model,test_dataloader)
#会在执行val的时候显存double,然后out of memory。
改进后训练流程：
for eopch in epochs:
for data,label in train_dataloader：
model.train()
train(model,data,label)
model.eval()
with torch.no_grad():
val(model,test_dataloader)
此时显存不再溢出。
总结
在模型验证时，仍计算梯度，导致模型显存溢出。加上with torch.no_grad():问题解决。
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
5
0- 0
已为社区贡献7条内容
所有评论(0)