Pytorch 初探

什么是 Pytorch

Facebook 的 Pytorch 和 Google 的 TensorFlow 一样，也是一款深度学习库，TensorFlow 主要应用于工业生产领域之中，GitHub 上的深度学习工具也多基于 TensorFlow；而 Pytorch 在研究领域被广泛使用，越来越多的论文和新技术都基于 Pytorch 开发。

工业场景比研究领域相对置后，且近年来 Pytorch 的研究论文有逐渐增加的趋势，随着前沿技术的应用，Pytorch 也可能成为一种趋势。目前常用的模型也都有对应的 Pytorch 版本，具体请见后面参考部分。

本篇就来学习一下 Pytorch。Pytorch 是 Facebook 开源的包含 GPU 加速的神经网络框架。Pytorch 是 torch 的 Python 版本，也提供 C++ 的接口。

相关概念

Pytorch 不像 TensorFlow 加入了 Scope、Session 等新概念以及复杂的调用方法，有较高的学习成本，Pytorch 只有三个重要概念 Tensor（张量）、variable（变量）、Module（模块），它的易用性类似于 Keras（Keras 是更上层的 API，可调用 TensorFlow，Theano 和 CNTK），但比 Keras 更加灵活。

Tensor

Tensor 被译为张量或者标量，它类似于 numpy 的 array。

Variable

Variable 被译为变量，可以将它看作 Tensor 的扩展，它带有自动求导（autogard）功能，一般通过 backward() 计算梯度后，通过其 grad 属性查看梯度。创建 Variable 时需要设置 requires_grad=True，才能计算梯度。

Module

Module 可以用于定义层，也可以用于定义整个神经网络。它是神经网络的基类，一般构建网络都需要继承 Module，并在构造函数 init() 中定义自己的网络结构，以及实现前向算法 forward()。

Function

Function 针对单个功能，它不像 Module 可以保存数据，一般 Function 只需要实现 init()、forward()、backward() 三个函数。

DataSet

DataSet 是用于读取数据的工具类，对于较为复杂的数据，通常需要继承 DataSet 实现自己的数据类。

optim

optimizer 译为优化器，pytorch.optim.* 中实现了多种优化算法，可以直接调用。使用时，首先，需要选择一种优化算法，在创建时指定具体参数如学习率，然后在训练模型时使用优化器更新参数（调用其 step 方法）。优化器用于调整网络参数，其本身不存储数据，只保存优化算法及其参数和指向网络参数的指针。Pytorch 可以对不同的层设置不同的优化参数。

动态计算图

计算图指构建的神经网络结构。TensorFlow 使用静态计算图机制，一旦建立，训练过程中不能被修改, 静态计算在效率方面有更大的优化空间。Pytorch 使用动态计算图机制，每一次训练，都会销毁图并重新创建，这样占用了更多资源，但是更加灵活。

###安装

普通安装

不同的操作系统，Python 版本和不同硬件（是否支持 GPU）安装方法不同，具体方法见 https://pytorch.org/，如下图所示：

安装好之后，用以下方法，可查看 torch 版本:

1 2	import torch print(torch.__version__)

下载源码

1
2

$ git clone --recursive [https://github.com/pytorch/pytorch](https://github.com/pytorch/pytorch) # 下载源码 
$ git clone [https://github.com/pytorch/examples.git](https://github.com/pytorch/examples.git) # 下载例程

实例

pytorch/examples/中包括各种例程，其中 mnist 手写数字识别是深度学习中最常用的示例数据，其 Pytorch 例程只有百余行，核心代码在 50 行左右。下面将讲解其核心函数。

首先，它实现了基于 Module 的类，用于描述神经网络，其中构造函数 init() 定义了网络结构，函数 forward() 描述了前向传播的方法。

class Net(nn.Module): # 定义神经网络
    def __init__(self): # 构建网络
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(1, 20, 5, 1) # 卷积层，输入为1，输出为20，卷积核5x5
        self.conv2 = nn.Conv2d(20, 50, 5, 1)
        self.fc1 = nn.Linear(4*4*50, 500) # 全连接层，输入为4*4*50，输出为500
        self.fc2 = nn.Linear(500, 10)
    def forward(self, x): # 前向传播
        x = F.relu(self.conv1(x)) # 激活函数
        x = F.max_pool2d(x, 2, 2) # 最大池化
        x = F.relu(self.conv2(x))
        x = F.max_pool2d(x, 2, 2)
        x = x.view(-1, 4*4*50) # 改变形状，将数据展开
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return F.log_softmax(x, dim=1)

然后，分别实现了训练 train 和测试 test 两个函数，train 将整体数据分块 batch 代入模型训练，再用损失函数计算误差，求梯度，并用优化器调整网络参数。

def train(args, model, device, train_loader, optimizer, epoch):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader): # 整体数据分块训练
    data, target = data.to(device), target.to(device)
    optimizer.zero_grad() # 清空了grad，而非params
    output = model(data)
    loss = F.nll_loss(output, target) # 误差函数将output与target设入loss
    loss.backward() # 反向传播，修改了网络参数中的grad
    optimizer.step() # 根据反向传播梯度更新网络参数
    if batch_idx % args.log_interval == 0:
        print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(epoch, batch_idx * len(data), len(train_loader.dataset), 100\. * batch_idx / len(train_loader), loss.item()))

主程序根据迭代次数（epoch），多次调用 train 和 test 训练模型。

model = Net().to(device)
optimizer = optim.SGD(model.parameters(), # 神经网络参数设置给优化器
lr=args.lr, momentum=args.momentum)
for epoch in range(1, args.epochs + 1): # 所有数据训练多次
    train(args, model, device, train_loader, optimizer, epoch)
    test(args, model, device, test_loader)

总结

Pytorch 的难度介于 keras 和 TensorFlow 之间，最重要的是，它的顺序结构，让程序员对流程一目了然。相对于看原理和论文，很多时候，程序员看代码效果更好，Pytorch 的数据处理过程与原理契合度很高。而且预训练、对抗网络的例程也很多，公式完全能落实到代码中。

参考

PyTorch 流行的预训练模型和数据集列表 pytorch-playground

https://ptorch.com/news/171.html

PyTorch- 动态计算图

https://blog.csdn.net/zhouchen1998/article/details/89562423

Pytorch初探

Pytorch 初探

什么是 Pytorch

相关概念

实例

总结

参考