使用半精度，提升pytorch推理性能
原生的torch是float32的，我们可以借鉴模型量化的思想将其变成float16，而且pytorch自身就定义了半精度的tensor假设我训练的一个模型为model，我们在运算的时候直接将模型转成半精度的模型，怎么做的呢？直接使用model.half()就行model.half()model.cuda()假设我们有个float32的tensor的变量img，为了使用半精度的模型，同样需要将其输
·
原生的torch是float32的，我们可以借鉴模型量化的思想将其变成float16，而且pytorch自身就定义了半精度的tensor
假设我训练的一个模型为model，我们在运算的时候直接将模型转成半精度的模型，怎么做的呢？直接使用model.half()就行
model.half()
model.cuda()假设我们有个float32的tensor的变量 img，为了使用半精度的模型，同样需要将其输入转成HalfTensor
img=img.type(torch.HalfTensor).cuda()现在就可以正常使用半精度的模型了：
out = model(img)我们可以对比一下效果，这里我自己拿了一个模型计算了一下：
完整版模型推理时间：0.03268694877624512秒
半精度模型推理时间：0.018633127212524414秒
速度将近提升了一倍
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
1
0- 0
已为社区贡献8条内容
所有评论(0)