assignment 2
assignment2讲解参见：
https://blog.csdn.net/BigDataDigest/article/details/79286510
http://www.cnblogs.com/daihengchen/p/5765142.html
最后一个作业Q5基于Tensorflow和Pytorch，将会需要在GPU上运行。
1. softmax_loss:
log_probs[range(N), y]:从log_probs中取出纵值为yi，即正确标签，横值图像数，即从log_probs中取出y所指向的正确类的概率值，得到是一个[N,]数组，加和后除以N，即为softmax_loss。
2.关于batch normalization:
参见：https://www.cnblogs.com/guoyaohua/p/8724433.html
参见：https://www.cnblogs.com/skyfsm/p/8453498.html
反向传播参见：https://zhuanlan.zhihu.com/p/26138673
https://blog.csdn.net/kevin_hee/article/details/80783698
基本流程：减去均值（mini-batch mean）、除以方差(normalize)、scale and shift。
3.总结：
到这里，我们大致学完了“神经网络”基础。我们学习了：
l 一个神经网络应该有三大基础东西 - 损失函数、梯度、权值（模板）。
l 神经网络将一个函数封装成一个独立的神经元，然后将神经元分层连接，使之高效地传递信息。
l 我们认识了各种激活函数（推荐使用ReLU）。
l 我们可以对初始数据做预处理（推荐使用“减均值+除标准差”）。
l 我们还可以对隐藏层也做类似处理（Batch Normalization）。
l 我们应该对权进行初始化（推荐使用“随机数+除标准差”）。
l 如果train/val之间有gap，就是过拟合了（推荐使用“R2+Dropout”）。
l 在训练中，要对各种参数进行更新（推荐使用Adam）。
l 最后，还有对超参数进行调优的方法。