《python深度学习》笔记---2.4、神经网络的“引擎”：基于梯度的优化
一、总结
一句话总结：
其实真的比较简单，就是损失函数，然后前向传播，反向传播
1、随机初始化（random initialization）？
较小随机数：一开始，这些权重矩阵取较小的随机值，这一步叫作随机初始化（random initialization）。
2、训练循环（training loop）过程？
提取数据：抽取训练样本 x 和对应目标 y 组成的数据批量
前向传播：在 x 上运行网络［这一步叫作前向传播（forward pass）］，得到预测值 y_pred。
计算损失：计算网络在这批数据上的损失，用于衡量 y_pred 和 y 之间的距离。
反向传播：更新网络的所有权重，使网络在这批数据上的损失略微下降。
3、前向传播和后向传播的理论基础？
网络运算可微：一种更好的方法是利用网络中所有运算都 是可微（differentiable）的这一事实，计算损失相对于网络系数的梯度（gradient），然后向梯度 的反方向改变系数，从而使损失降低。
4、张量运算的导数：梯度 ？
梯度（gradient）是张量运算的导数：它是导数这一概念向多元函数导数的推广。多元函数 是以张量作为输入的函数。
5、随机梯度下降 中的随机是什么意思？
术语随机（stochastic）是指每批数据都是随机抽取的（stochastic 是random 在科学上的同义词）
6、小批量SGD 算法？
小批量SGD是每次选一个样本：小批量SGD 算法的一个变体是每次迭代时只抽取一个样本和目标，而不是抽取一批 数据。这叫作真 SGD（有别于小批量 SGD）。
批量SGD是每次选全部数据：还有另一种极端，每一次迭代都在所有数据上 运行，这叫作批量 SGD。这样做的话，每次更新都更加准确，但计算代价也高得多。
合理选择批的大小：这两个极 端之间的有效折中则是选择合理的批量大小。
7、但你不可能将神经网络的实际训练过程可视化，因为你无法用人类可以理解的 方式来可视化 1 000 000 维空间？
低维直觉在实践中不一定准确：因此最好记住，在这些低维表示中形成的直觉在实践中不一定 总是准确的。这在历史上一直是深度学习研究的问题来源。
8、SGD 还有多种变体，其区别在于计算下一次权重更新时还要考虑上一次权重更新， 而不是仅仅考虑当前梯度值，比如带动量的SGD、Adagrad、RMSProp 等变体？
动量解决了SGD 的两个问题：收敛速度和局部极小点。
9、使用动量方法可以避免局部最小值？
动量够大不会卡局部最小值：有一种有用的思维图像， 就是将优化过程想象成一个小球从损失函数曲线上滚下来。如果小球的动量足够大，那么它不会 卡在峡谷里，最终会到达全局最小点。
考虑速度：动量方法的实现过程是每一步都移动小球，不仅要考虑当 前的斜率值（当前的加速度），还要考虑当前的速度（来自于之前的加速度）。
考虑上次w的更新：这在实践中的是指， 更新参数 w 不仅要考虑当前的梯度值，还要考虑上一次的参数更新
10、轮次（epoch）？
在所有训练数据上迭代一次叫作一个轮次（epoch）
二、内容在总结中
博客对应课程的视频位置：