一、卷积神经网络基础
知识点记录：
神经网络的基础概念主要是：卷积层、池化层，并解释填充、步幅、输入通道和输出通道之含义。
二维卷积层：
常用于处理图像数据，将输入和卷积核做互相关运算，并加上一个标量偏置来得到输出。卷积层的模型参数包括卷积核和标量偏置。
1 class Conv2D(nn.Module): 2 def __init__(self, kernel_size): 3 super(Conv2D, self).__init__() 4 self.weight = nn.Parameter(torch.randn(kernel_size)) 5 self.bias = nn.Parameter(torch.randn(1)) 6 7 def forward(self, x): 8 return corr2d(x, self.weight) + self.bias
案例：构造一张6×8的图像，中间4列为黑（0），其余为白（1），希望检测到颜色边缘。我们的标签是一个6×7的二维数组，第2列是1（从1到0的边缘），第6列是-1（从0到1的边缘）。
1 X = torch.ones(6, 8) 2 Y = torch.zeros(6, 7) 3 X[:, 2: 6] = 0 4 Y[:, 1] = 1 5 Y[:, 5] = -1 6 print(X) 7 print(Y)
希望学习一个1×2卷积层，通过卷积层来检测颜色边缘。
1 conv2d = Conv2D(kernel_size=(1, 2)) 2 step = 30 3 lr = 0.01 4 for i in range(step): 5 Y_hat = conv2d(X) 6 l = ((Y_hat - Y) ** 2).sum() 7 l.backward() 8 # 梯度下降 9 conv2d.weight.data -= lr * conv2d.weight.grad 10 conv2d.bias.data -= lr * conv2d.bias.grad 11 12 # 梯度清零 13 conv2d.weight.grad.zero_() 14 conv2d.bias.grad.zero_() 15 if (i + 1) % 5 == 0: 16 print('Step %d, loss %.3f' % (i + 1, l.item())) 17 18 print(conv2d.weight.data) 19 print(conv2d.bias.data)
二维互相关运算：
二位互相关运算的输入是一个二维输入数组和一个二维核数组，输入也是一个二维数组，其中核数组通常称为卷积核或过滤器。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与读位置处输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。如图相互关运算之例：阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。
1 import torch 2 import torch.nn as nn 3 4 def corr2d(X, K): 5 H, W = X.shape 6 h, w = K.shape 7 Y = torch.zeros(H - h + 1, W - w + 1) 8 for i in range(Y.shape[0]): 9 for j in range(Y.shape[1]): 10 Y[i, j] = (X[i: i + h, j: j + w] * K).sum() 11 return Y
1 X = torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]]) 2 K = torch.tensor([[0, 1], [2, 3]]) 3 Y = corr2d(X, K) 4 print(Y)
互相关运算与卷积运算
卷积层得名于卷积运算，但是卷积层中用到的并非卷积运算而是互相关运算。卷积运算过程：将核数组上下翻转、左右翻转，再与输入数组做互相关运算。由于卷积层的核数组是科学系的，所以是用互相关运算与使用卷积运算并无本质区别。
特征图和感受野
二维卷积层输出的二维数组可以看作是输入在空间维度（宽和高）上某一级的表征，也叫特征图。影响元素x的前向计算的所有可能输入区域叫做x的感受野。
我们可以通过更深的卷积神经网络使特征图中单个元素的感受野变得更加广阔，从而捕捉输入上更大尺寸的特征。
填充和步幅：
填充
再输入高和宽的两侧填充元素（通常是0元素）
步幅：
互相关运算中，卷积核再输入数组上滑动，每次滑动的行数与列数即是步幅。
多输入通道和多输出通道
真实数据维度通常很高，彩图除宽高外还有RGB3个颜色通道，可以表示为一个3X h X w 的多维数组，将大小为3的这一维称为通道维。
多输入通道
卷积层的输入可以包含多个通道
多输出通道 
1 X 1卷积层
卷积层和全连接层的对比：
二维卷积层经常用于处理图像，与此前的全连接层相比，其主优势：
全连接层把图像展平成一个向量，在输入图像上相邻的元素可能因为展平操作不再相邻，网络难以捕捉局部信息。而卷积层的设计，天然的具有提取局部信息的能力。
池化
二维池化层
池化层主要用于缓解卷积层对位置的过度敏感性。同卷积层一样，池化层每次对输入数据的一个固定形状窗口中的元素计算输出，池化层直接计算池化窗口内元素的最大值或者平均值，该运算也分别叫做最大池化或平均池化。
二、leNet
使用全连接的局限性：
图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像，使用全连接层容易导致模型过大。
使用卷积层优势：
卷积层保留输入形状。卷积层通过滑动窗口将同一卷积核与不同位置的输入重读计算，从而避免参数尺寸过大。
LeNet模型
leNet分为卷积层快和全连接层块两个部分。
卷积层块的基本单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式。如线条和物体局部，之后的平均池化层则用来降低卷积对位置的敏感性。
卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使用5X5 的床口，并在输出上使用sigmoid激活函数。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。
全连接层块含3个全连接层。它们的输出个数分别是120、84、10，其中10为输出的类别个数。
在卷积层块中输入的高和宽在逐层减小。卷积层由于使用高和宽均为5的卷积核，从而将高和宽分别减少4，而池化层则将高和宽减半，但通道数则从1增加到16.全连接层则逐层减少输出个数，直到变成图像的类别数10.
概括：
卷积神经网络回事含卷积层的网络。LeNet 交替使用卷积层和最大池化层后接全连接层来进行图像分类。
三、卷积神经网络进阶
AlexNet
LeNet：在大的真实数据集上的表现并不尽如人意。
神经网络计算复杂。还没有大量深入研究参数初始化和非凸优化算法等诸多领域。
机器学习的特征提取:手工定义的特征提取函数
神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。
神经网络发展的限制:数据、硬件
AlexNet
首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的前状。
特征：
8层变换，其中有5层卷积和2层全连接隐藏层，以及一个全连接输出层。
将sigmoid激活函数改成了更加简单的ReLU激活函数。
用Dropout 来控制全连接层的模型复杂度。
引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。
1 #目前GPU算力资源预计17日上线，在此之前本代码只能使用CPU运行。 2 #考虑到本代码中的模型过大，CPU训练较慢， 3 #我们还将代码上传了一份到 https://www.kaggle.com/boyuai/boyu-d2l-modernconvolutionalnetwork 4 #如希望提前使用gpu运行请至kaggle。 5 6 7 import time 8 import torch 9 from torch import nn, optim 10 import torchvision 11 import numpy as np 12 import sys 13 sys.path.append("/home/kesci/input/") 14 import d2lzh1981 as d2l 15 import os 16 import torch.nn.functional as F 17 18 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') 19 20 class AlexNet(nn.Module): 21 def __init__(self): 22 super(AlexNet, self).__init__() 23 self.conv = nn.Sequential( 24 nn.Conv2d(1, 96, 11, 4), # in_channels, out_channels, kernel_size, stride, padding 25 nn.ReLU(), 26 nn.MaxPool2d(3, 2), # kernel_size, stride 27 # 减小卷积窗口，使用填充为2来使得输入与输出的高和宽一致，且增大输出通道数 28 nn.Conv2d(96, 256, 5, 1, 2), 29 nn.ReLU(), 30 nn.MaxPool2d(3, 2), 31 # 连续3个卷积层，且使用更小的卷积窗口。除了最后的卷积层外，进一步增大了输出通道数。 32 # 前两个卷积层后不使用池化层来减小输入的高和宽 33 nn.Conv2d(256, 384, 3, 1, 1), 34 nn.ReLU(), 35 nn.Conv2d(384, 384, 3, 1, 1), 36 nn.ReLU(), 37 nn.Conv2d(384, 256, 3, 1, 1), 38 nn.ReLU(), 39 nn.MaxPool2d(3, 2) 40 ) 41 # 这里全连接层的输出个数比LeNet中的大数倍。使用丢弃层来缓解过拟合 42 self.fc = nn.Sequential( 43 nn.Linear(256*5*5, 4096), 44 nn.ReLU(), 45 nn.Dropout(0.5), 46 #由于使用CPU镜像，精简网络，若为GPU镜像可添加该层 47 #nn.Linear(4096, 4096), 48 #nn.ReLU(), 49 #nn.Dropout(0.5), 50 51 # 输出层。由于这里使用Fashion-MNIST，所以用类别数为10，而非论文中的1000 52 nn.Linear(4096, 10), 53 ) 54 55 def forward(self, img): 56 57 feature = self.conv(img) 58 output = self.fc(feature.view(img.shape[0], -1)) 59 return output
1 net = AlexNet() 2 print(net)
使用重复元素的网络（VGG)
VGG:
通过重复使用简单的基础块来构建深度模型。
Block：
数个相同的填充为1、窗口形状为3X3的卷积层，接上一个步幅为2、窗口形状为2X2的最大池化层。 卷积层保持输入的高和宽不变，而池化层则对其减半。
网络中的网络（NiN）
LeNet、Alex和VGG： 先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。
NiN：串联多个由卷积层和“全连接”层构成的小网络来构建一个深层网络。
用了输出通道数等于标签类别数的NiN块，然后使用全局平均池化层对每个通道中所有元素求平均并直接用于分类。
1X1卷积核作用
放缩通道数：通过控制卷积核的额数量达到通道数的放缩。
增加非线性。1X1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性。
计算参数少
GoogLeNet：
由Inception基础块组成
Inception 块相当于一个有4条线路的子网络。它通过不同窗口形状的卷积层和最大池化层来并行抽取信息，并使用1X1卷积层减少通道数从而减低模型复杂度。
可以定义的超参数是每个层的输出通道数，我们可以以此来控制模型复杂度。