多层感知机的简洁实现

其他博客：

多层感知机概述：https://www.cnblogs.com/somedayLi/p/12313804.html

多层感知机从零开始实现：https://www.cnblogs.com/somedayLi/p/12359167.html

1. 使⽤Gluon来实现上⼀节中的多层感知机。⾸先导⼊所需的包或模块。

# 1.导包
import torch
from torch import nn
from torch.nn import init
import numpy as np
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l

2. 定义模型

和softmax回归唯⼀的不同在于，我们多加了⼀个全连接层作为隐藏层。它的隐藏单元个数为256，并使⽤ReLU函数作为激活函数。

# 2.定义模型
num_inputs, num_outputs, num_hiddens = 784, 10, 256

net = nn.Sequential(
        d2l.FlattenLayer(),
        nn.Linear(num_inputs, num_hiddens),
        nn.ReLU(),
        nn.Linear(num_hiddens,num_outputs))

for params in net.parameters():
    init.normal_(params, mean=0,std=0.01)

3. 读取数据并训练模型

注：由于这⾥使⽤的是PyTorch的SGD⽽不是d2lzh_pytorch⾥⾯的sgd，所以就不存在多层感知机从零开始实现中，那样学习率看起来很⼤的问题了。

# 读取数据并训练模型
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
loss = torch.nn.CrossEntropyLoss()

optimizer = torch.optim.SGD(net.parameters(), lr=0.5)

num_epochs = 5
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None,None, optimizer)

运行结果

epoch 1, loss 0.0032, train acc 0.699, test acc 0.809
epoch 2, loss 0.0019, train acc 0.819, test acc 0.833
epoch 3, loss 0.0017, train acc 0.842, test acc 0.821
epoch 4, loss 0.0015, train acc 0.855, test acc 0.842
epoch 5, loss 0.0014, train acc 0.864, test acc 0.833