【笔记】机器学习

深度学习发展历史：

感知机和逻辑回归很像，只是没有(sigmoid)激活函数。

深度学习训练的三个步骤：

Step1：神经网络（Neural network）
Step2：模型评估（Goodness of function）
Step3：选择最优函数（Pick best function）

Step1：
完全连接前馈神经网络 Fully Connect Feedforward Network：

概念：输入层、隐藏层、输出层、神经元
Deep = Many hidden layers
全连接：两层之间两两都有连接

层数很多，运算量大，用loop不合适，应该用矩阵计算，可以并行计算，用GPU去加速。

需要多少层，每层多少个神经元？尝试+直觉
结构可以自动确定吗？比如进化人工神经网络可以
自己设计？比如卷积神经网络CNN

Step2：
用交叉熵来度量Loss

Step3:
使用Gradient Descent多次迭代
在神经网络中计算损失最好的方法就是反向传播，我们可以用很多框架来进行计算损失，比如说TensorFlow，theano，Pytorch等等

思考：
为何要用多层？后续章节有介绍。