深度学习的组成

模型选择

• 网络结构

损失函数

• 交叉熵

参数初始化方法：

• Xavier_normal
• kaiming_normal

优化算法：

• SGD
• Adam
• https://zhuanlan.zhihu.com/p/32230623

学习率

正则化方法：

• dropout
• BN

训练：

迭代直到达到迭代次数

• 正向传播计算损失
• 梯度反向传播调整权值