动手学深度学习-线性神经网络-3线性回归的轻便实现

目次
天生数据集
读取数据集 
界说模子 
初始化模子参数 
界说丧失函数 
界说优化算法 
训练 
小结 

---

在已往的几年里，出于对深度学习剧烈的爱好， 很多公司、学者和业余爱好者开辟了各种成熟的开源框架。 这些框架可以自动化基于梯度的学习算法中重复性的工作。 在上一节中，我们只运用了： （1）通过张量来举行数据存储和线性代数； （2）通过自动微分来盘算梯度。 实际上，由于数据迭代器、丧失函数、优化器和神经网络层很常用， 今世深度学习库也为我们实现了这些组件。
天生数据集

  

1. import numpy as np
2. import torch
3. from torch.utils import data
4. from d2l import torch as d2l
6. true_w = torch.tensor([2, -3.4])
7. true_b = 4.2
8. features, labels = d2l.synthetic_data(true_w, true_b, 1000)

复制代码

读取数据集 

我们可以调用框架中现有的API来读取数据。 我们将features和labels作为API的参数转达，并通过数据迭代器指定batch_size。 别的，布尔值is_train体现是否盼望数据迭代器对象在每个迭代周期内打乱数据。 
  

1. def load_array(data_arrays, batch_size, is_train=True):  #@save
2.     """构造一个PyTorch数据迭代器"""
3.     dataset = data.TensorDataset(*data_arrays)
4.     return data.DataLoader(dataset, batch_size, shuffle=is_train)
6. batch_size = 10
7. data_iter = load_array((features, labels), batch_size)

复制代码

利用data_iter的方式与我们在上一节中利用data_iter函数的方式雷同。为了验证是否正常工作，让我们读取并打印第一个小批量样本。 与上一节差别，这里我们利用iter构造Python迭代器，并利用next从迭代器中获取第一项。 
  

1. next(iter(data_iter))

复制代码

 

界说模子 

当我们在前一节中实现线性回归时， 我们明确界说了模子参数变量，并编写了盘算的代码，如许通过根本的线性代数运算得到输出。 但是，如果模子变得更加复杂，且当我们险些每天都须要实现模子时，自然会想简化这个过程。 这种情况雷同于为本身的博客从零开始编写网页。 做一两次是有益的，但如果每个新博客就须要工程师花一个月的时间重新开始编写网页，那并不高效。
对于尺度深度学习模子，我们可以利用框架的预界说好的层。这使我们只需关注利用哪些层来构造模子，而不必关注层的实现细节。 我们起首界说一个模子变量net，它是一个Sequential类的实例。 Sequential类将多个层串联在一起。 当给定输入数据时，Sequential实例将数据传入到第一层， 然后将第一层的输出作为第二层的输入，以此类推。 在下面的例子中，我们的模子只包罗一个层，因此实际上不须要Sequential。 但是由于以后险些全部的模子都是多层的，在这里利用Sequential会让你认识“尺度的流水线”。
回顾下图中的单层网络架构， 这一单层被称为全毗连层（fully-connected layer）， 由于它的每一个输入都通过矩阵-向量乘法得到它的每个输出。
在PyTorch中，全毗连层在Linear类中界说。 值得注意的是，我们将两个参数转到达nn.Linear中。 第一个指定输入特性外形，即2，第二个指定输出特性外形，输出特性外形为单个标量，因此为1。 
 

1. # nn是神经网络的缩写
2. from torch import nn
4. net = nn.Sequential(nn.Linear(2, 1))

复制代码

初始化模子参数 

在利用net之前，我们须要初始化模子参数。 如在线性回归模子中的权重和偏置。 深度学习框架通常有预界说的方法来初始化参数。 在这里，我们指定每个权重参数应该从均值为0、尺度差为0.01的正态分布中随机采样， 偏置参数将初始化为零。 
正如我们在构造nn.Linear时指定输入和输出尺寸一样， 如今我们能直接访问参数以设定它们的初始值。 我们通过net[0]选择网络中的第一个图层， 然后利用weight.data和bias.data方法访问参数。 我们还可以利用更换方法normal_和fill_来重写参数值。 

1. net[0].weight.data.normal_(0, 0.01)
2. net[0].bias.data.fill_(0)

复制代码

界说丧失函数 

盘算均方偏差利用的是MSELoss类，也称为平方L2范数。 默认情况下，它返回全部样本丧失的匀称值。 

1. loss = nn.MSELoss()

复制代码

界说优化算法 

小批量随机梯度降落算法是一种优化神经网络的尺度工具， PyTorch在optim模块中实现了该算法的很多变种。 当我们实例化一个SGD实例时，我们要指定优化的参数 （可通过net.parameters()从我们的模子中得到）以及优化算法所需的超参数字典。 小批量随机梯度降落只须要设置lr值，这里设置为0.03。 

1. trainer = torch.optim.SGD(net.parameters(), lr=0.03)

复制代码

训练 

通过深度学习框架的高级API来实现我们的模子只须要相对较少的代码。 我们不必单独分配参数、不必界说我们的丧失函数，也不必手动实现小批量随机梯度降落。 当我们须要更复杂的模子时，高级API的上风将大大增长。 当我们有了全部的根本组件，训练过程代码与我们从零开始实现时所做的非常相似。
回顾一下：在每个迭代周期里，我们将完备遍历一次数据集（train_data）， 不绝地从中获取一个小批量的输入和相应的标签。 对于每一个小批量，我们会举行以下步调:

• 通过调用net(X)天生猜测并盘算丧失l（前向传播）。
  
• 通过举行反向传播来盘算梯度。
  
• 通过调用优化器来更新模子参数。
  

为了更好的衡量训练效果，我们盘算每个迭代周期后的丧失，并打印它来监控训练过程。

1. num_epochs = 3
2. for epoch in range(num_epochs):
3.     for X, y in data_iter:
4.         l = loss(net(X) ,y)
5.         trainer.zero_grad()
6.         l.backward()
7.         trainer.step()
8.     l = loss(net(features), labels)
9.     print(f'epoch {epoch + 1}, loss {l:f}')

复制代码

下面我们比力天生数据集的真实参数和通过有限数据训练得到的模子参数。 要访问参数，我们起首从net访问所需的层，然后读取该层的权重和偏置。 正如在从零开始实现中一样，我们估计得到的参数与天生数据的真实参数非常靠近。 

1. w = net[0].weight.data
2. print('w的估计误差：', true_w - w.reshape(true_w.shape))
3. b = net[0].bias.data
4. print('b的估计误差：', true_b - b)

复制代码

小结 

 

• 我们可以利用PyTorch的高级API更轻便地实现模子。
  
• 在PyTorch中，data模块提供了数据处置处罚工具，nn模块界说了大量的神经网络层和常见丧失函数。
  
• 我们可以通过_末端的方法将参数更换，从而初始化参数。