一、梯度消失与爆炸
二、Xavier方法与Kaiming方法
1、Xavier初始化
方差一致性：保持数据尺度维持在恰当范围，通常方差为1
激活函数：饱和函数，如Sigmoid，Tanh
三、常用初始化方法
10种：
Xavier均匀分布、正态分布
Kaiming均匀分布、正态分布
均匀分布、正态分布、常数分布
正交矩阵初始化
单位矩阵初始化
稀疏矩阵初始化
nn.init.Calculate_gain
主要功能：计算激活函数的方差变化尺度
主要参数
nonlinearity：激活函数名
param：激活函数的参数，如Leaky ReLU的negative_slop