Pytorch 避免更新模型梯度

#Pytorch

1. torch.no_grad

(1) 用法

with torch.no_grad():
  具体操作

(2) 说明

上例的“具体操作”中均不更新梯度，这样可以节约计算时间和内存。一般用于验证或者测试阶段。

2. param.requires_grad

(1) 用法

p.requires_grad=False

(2) 说明

一般用于将某一层设置为不自动更新梯度，以避免训练模型时对该层调参。

3. model.eval

(1) 用法

model.eval()
具体操作

(2) 说明

模型支持 train 模式和 eval 模式，在使用模型之前调用 model.eval()，进入 eval 评估模型，它将改变 forward，如禁止 dropout，并用统计数据做 batch norm。因此，有时 train 模式和 eval 模式模型计算的结果不同。