《动手学深度学习》--3 深度学习基础笔记1：Pytorch实现简单的线性回归

简单记录一下如何使用PyTorch实现线性回归的训练，代码如下：

# 导入所需的包
import torch
import numpy as np
import torch.utils.data as Data
import torch.nn as nn
from torch.nn import init
import torch.optim as optim

# 1 生成训练数据。
# features是训练数据特征，labels是标签
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.tensor(np.random.normal(0, 1, (num_examples, num_inputs)), dtype=torch.float)
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()), dtype=torch.float) # 加上噪声项：ϵϵ 服从均值为0、标准差为0.01的正态分布

# 2 读取数据。
# PyTorch提供了data包来读取数据
batch_size = 10
dataset = Data.TensorDataset(features, labels) # 将训练数据的特征和标签组合
data_iter = Data.DataLoader(dataset, batch_size, shuffle=True) # 随机读取小批量

# 3 定义模型
class LinearNet(nn.Module):
    def __init__(self, n_feature):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(n_feature, 1)
    # forward 定义前向传播
    def forward(self, x):
        y = self.linear(x)
        return y
net = LinearNet(num_inputs)

# 4 初始化模型参数
init.normal_(net.linear.weight, mean=0, std=0.01)
init.constant_(net.linear.bias, val=0) 

# 5 定义损失函数
loss = nn.MSELoss()

# 6 定义优化算法
optimizer = optim.SGD(net.parameters(), lr=0.03)

# 7 训练模型
num_epochs = 3
for epoch in range(1, num_epochs + 1):
    for X, y in data_iter:
        output = net(X)
        l = loss(output, y.view(-1, 1))
        optimizer.zero_grad() # 梯度清零，等价于net.zero_grad()
        l.backward()
        optimizer.step() #调用optim实例的step函数来迭代模型参数
    print('epoch %d, loss: %f' % (epoch, l.item()))

epoch 1, loss: 0.000092
epoch 2, loss: 0.000086
epoch 3, loss: 0.000083

torch.utils.data模块提供了有关数据处理的工具；

torch.nn模块定义了大量神经网络的层；

torch.nn.init模块定义了各种初始化方法；

torch.optim模块提供了很多常用的优化算法。