pytorch 梯度NAN异常值解决
gradient 为nan可能原因：梯度爆炸学习率太大数据本身有问题backward时，某些方法造成0在分母上， 如：使用方法sqrt()定位造成nan的代码：import torch# 异常检测开启torch.autograd.set_detect_anomaly(True)# 反向传播时检测是否有异常值，定位codewith torch.autograd.detect_anomaly():lo
·
gradient 为nan可能原因：
- 梯度爆炸
- 学习率太大
- 数据本身有问题
- backward时，某些方法造成0在分母上， 如：使用方法sqrt()
定位造成nan的代码：
import torch
# 异常检测开启
torch.autograd.set_detect_anomaly(True)
# 反向传播时检测是否有异常值，定位code
with torch.autograd.detect_anomaly():
loss.backward()
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
6
0- 0
已为社区贡献1条内容
所有评论(0)