【零基础】浅层神经网络解析

回顾：

【零基础】AI神经元解析（含实例代码）

一、序言

　　前两天写了关于单神经元的解析，这里再接再厉继续浅层神经网络的解析。浅层神经网络即是“层次较少”的神经网络，虽然层次少但其性能相对单神经元强大了不只一点。

　　注：本文内容主要是对“床长”的系列教程进行总结，强烈推荐“床长”的人工智能系列教程（https://www.captainbed.net/）

二、浅层神经网络的构成

　　回顾前面单神经元的构成，我们知道神经元包含4个关键函数：

　　1）传播函数，由输入x、偏置w、阈值b计算出a

　　2）激活函数，将a映射到0~1之间的结果y，可理解为（是、否）的概率

　　3）反向传播函数，通过y、答案label计算出dw、db（用以更新w和b）

　　4）损失函数，计算y与label间的误差

 　　直观上我们知道浅层神经网络自然是由数个神经元构成的，对于一个简单的两层神经网络其结构如下图所示：

　　它包含了输入层（即X）、隐藏层、输出层，其中输入层不是神经元，所以说这是一个两层的神经网络。

　　在实际实现时我们并不是挨个计算每一个经元的结果，最后再计算输出的结果。我们是一次计算出一层所有的神经元结果，再将每一层的结果作为输入计算下一层。而且第一层的传播函数并不与第二层传播函数分离，神经网络的传播函数包含了所有层的传播计算，反向传播函数也是包含了所有层的反向计算，所以从单神经元到神经网络代码的结构其实变化不大。

　　下面我们直接上代码来解析，如果你看明白了前面单神经元的解析，那这里是非常好理解的。

　　（文末附完整代码下载方式）

三、准备工作

　　1）要处理的问题

　　之前我们用单神经元要处理的问题是“从图片中识别出数字9”，即使使用单神经元也有93%的正确率，所以这里我们要增加问题的难度。将问题改为“从图片中识别出奇数”，代码上只需要很小的修改，将下面代码

　　#将label不是9的数据全部转为0，将9转为1
　　train_label = np.where(train_label==9,1,0)
　　test_label = np.where(test_label==9,1,0)

　　修改为：

　　#找出图片中的奇数将label中13579置为1、02468置为0
　　train_label = np.where((train_label%2)!=0,1,0)
　　test_label = np.where((test_label%2)!=0,1,0)

　　使用之前的单神经元代码执行后的结果为下图所示，可以看到预测效果大幅下降。

　　2）要使用的网络结构

　　首先要明确神经网络的层数，这里我们是一个简单的网络，所以只需要两层。其次是每一层神经元的个数，这里我们网络第一层设置4个神经元，第二层是输出层所以只要一个神经元。输入层跟以前一样，是784个输入（一张28x28图片的所有像素），网络结构如下图：

四、随机初始化参数

#初始化参数w和b
def initialize_parameters(input_num, hide_num, out_num):
　　#input_num 输入层神经元个数
　　#hide_num 隐藏层神经元个数
　　#out_num 输出层神经元个数
　　np.random.seed(2)
　　#随机初始化第一层相关参数w、b
　　W1 = np.random.rand(hide_num, input_num) * 0.01
　　b1 = np.zeros(shape=(hide_num, 1))

　　#随机初始化第二层相关参数w、b
　　W2 = np.random.randn(out_num, hide_num) * 0.01
　　b2 = np.zeros(shape=(out_num, 1))

　　return W1,b1,W2,b2

 　　浅层神经网络与单神经元在初始化参数w、b的区别有以下几点：

　　1）每一层神经元使用不同的w和b，所以有w1、w2、b1、b2，如果是三层网络则相应会有w3、b3.

　　2）不同层神经元的w、b的数据形状是不一样的。比如我们输入的图片有784个像素，且第二层有4个神经元，所以第一层w的形状是（4,784）、b的形状是（4,1）。第二层神经元只有一个，来自第一层的输入只有4个参数，所以第二层w的形状是（1,4）、b的形状是（1,1）。

　　3）w1和w2是随机生成的，之前单神经元结构中，w初始值为0，如果这里还使用全0的话，最终结果可能与单神经元一样，而且还乘以0.01确保初始值足够小。

五、传播函数

#向前传播函数
def forward(img, W1,b1,W2,b2):

　　#第一层
　　A1 = np.dot(W1, img) + b1
　　Y1 = np.tanh(A1)#第一层和第二层使用不同的激活函数

　　#第二层
　　A2 = np.dot(W2, Y1) + b2
　　Y2 = sigmoid(A2)
　　return Y1,Y2

　　传播函数与单神经元结构类似，不过需要注意的是，这里第一层使用的激活函数为tanh、第二层依旧使用的是sigmoid。他们的区别在于，sigmoid是将输出映射到0~1而tanh是将输出映射到-1~1。具体原因和区别以后再说（因为我也没搞清楚呢），这里只要知道有区别就行了。

 六、反向传播函数

#反向传播函数
def backward(img, label, W1,b1,W2,b2, Y1,Y2):
　　m = img.shape[1]
　　#第二层
　　dZ2 = Y2 - label
　　dW2 = np.dot(dZ2, Y1.T)/m
　　db2 = np.sum(dZ2, axis=1, keepdims=True)/m
　　#第一层
　　dZ1 = np.multiply(np.dot(W2.T, dZ2), 1-np.power(Y1, 2))
　　dW1 = np.dot(dZ1, img.T)/m
　　db1 = np.sum(dZ1, axis=1, keepdims=True)/m

　　return dW1,db1,dW2,db2

　　与传播函数方向相反，这里是先计算第二层的反向传播再计算第一层的反向传播。需要注意的是，由于第一层使用的激活函数是tanh，所以其反向计算公式与第一层的公式不一样，因为使用不同激活函数其反向求导也就不一样了。

　　另外np.sum中的两个参数axis=1、keepdims=True是为了确保db1的数据形式为（1,4），其中axis=1的意思是按行求和、keepdims=True的意思是保留矩阵的形状，不同参数的np.sum计算示意如下：

　　np.sum(dZ1)/m　　　　　　　　　　　　　　　  0.0016664927232987162

　　np.sum(dZ1, axis=1)/m　　　　　　　　　　　　[0.00026393,0.00077922,0.0003274 ,0.00029595]

　　np.sum(dZ1, axis=1, keepdims=True)/m　　　

　　　　　　　　　　　　　　　　　　　　　　　　[[0.00026393]
　　　　　　　　　　　　　　　　　　　　　　　　[0.00077922]
　　　　　　　　　　　　　　　　　　　　　　　　[0.0003274 ]
　　　　　　　　　　　　　　　　　　　　　　　　[0.00029595]]

七、梯度下降

#梯度下降 更新w、b参数
def update(W1,b1,W2,b2, dW1,db1,dW2,db2, learning_rate=1.2):
　　W1 = W1 - learning_rate*dW1
　　b1 = b1 - learning_rate*db1
　　W2 = W2 - learning_rate*dW2
　　b2 = b2 - learning_rate*db2

　　return W1,b1,W2,b2

　　梯度下降与单神经元的情况差不多。

八、损失函数

#损失函数
def costCal(Y2, label):
　　m = label.shape[1]
　　logprobs = np.multiply(np.log(Y2), label) + np.multiply((1-label), np.log(1-Y2))
　　cost = -np.sum(logprobs)/m
　　return cost

　　损失函数与单神经元的情况也差不多，需要注意的是np.multiply就是将两个矩阵做对应元素的乘。

九、预测函数

#预测函数
def predict(W1,b1,W2,b2, img):
　　Y1,Y2 = forward(img, W1,b1,W2,b2)
　　predictions = np.round(Y2)#对结果四舍五入
　　return predictions

　　与单神经元的情况类似，预测函数其实就是做一次“向前传播”。

十、训练模型并预测

#训练模型
def model(img, label, hide_num, num_iterations = 1000, learning_rate=0.1, print_cost = False):
　　np.random.seed(3)
　　input_num = img.shape[0]
　　out_num = label.shape[0]

　　#初始化参数
　　W1,b1,W2,b2 = initialize_parameters(input_num,hide_num,out_num)
　　#循环若干次完成训练
　　for i in range(0, num_iterations):
　　　　#向前传播
　　　　Y1,Y2 = forward(img, W1,b1,W2,b2)
　　　　#计算本次成本
　　　　cost = costCal(Y2, label)
　　　　#反向传播，得到梯度
　　　　dW1,db1,dW2,db2 = backward(img, label, W1,b1,W2,b2, Y1,Y2)
　　　　#参数优化
　　　　W1,b1,W2,b2 = update(W1,b1,W2,b2, dW1,db1,dW2,db2, learning_rate)
　　　　# 将本次训练的成本打印出来
　　　　if print_cost and i % 100 == 0:
　　　　print ("在训练%i次后，成本是: %f" % (i, cost))

　　return W1,b1,W2,b2

#调用训练模型

W1,b1,W2,b2 = model(train_img, train_label, 4, num_iterations=2000, learning_rate=1, print_cost=True)

#调用预测函数

predictions = predict(W1,b1,W2,b2, test_img)
print ('预测准确率是: %d' % float((np.dot(test_label, predictions.T) + np.dot(1 - test_label, 1 - predictions.T)) / float(test_label.size) * 100) + '%')

　　需要注意的是这里的learning_rate=1，而单神经元时的learning_rate为0.005。

十一、总结回顾

　　通过实现一个简单的二层神经网络我们发现，其实代码并没有修改很多，整体的结构也变化不大，其中最主要的变化在于第一层使用的激活函数变为tanh，由此导致反向传播的计算也有了较大的变化。

　　运行后我们可以发现，预测的准确度较单神经元有了较大幅度的提升：

在训练0次后，成本是: 0.693817
在训练100次后，成本是: 0.251725
在训练200次后，成本是: 0.176756
在训练300次后，成本是: 0.110538
在训练400次后，成本是: 0.372297
在训练500次后，成本是: 0.128188
在训练600次后，成本是: 0.091792
在训练700次后，成本是: 0.075769
在训练800次后，成本是: 0.064764
在训练900次后，成本是: 0.055826
在训练1000次后，成本是: 0.132452
在训练1100次后，成本是: 0.102556
在训练1200次后，成本是: 0.131425
在训练1300次后，成本是: 0.086445
在训练1400次后，成本是: 0.178343
在训练1500次后，成本是: 0.077496
在训练1600次后，成本是: 0.093846
在训练1700次后，成本是: 0.071567
在训练1800次后，成本是: 0.070109
在训练1900次后，成本是: 0.060202
预测准确率是: 94%

　　关注公众号“零基础爱学习”回复"AI5"可获得完整代码。后面我们还会继续更新“如何构建深度神经网络”，以及对目前还未明晰的问题解析。