激活函数就是非线性函数，常用于非线性模型，特别是神经网络；
非线性函数用于构建非线性决策边界，多个非线性函数的组合能够构建复杂的决策面；
本文旨在总结这些函数，并进行对比分析
阶跃函数
最早的激活函数，图如下
缺点：不连续，且局部导数为 0，无法反向传播
它只用在 感知器 上
sigmoid
它是用来替代 阶跃函数的，图如下，有没有发现长得很像
计算公式如下
优点：
1. 有个很好的性质，即 f'(x) = f(x)[1-f(x)]，这样求导就很方便了，无需额外计算
2. 把信号压缩在 01 之间，使得信号值连续，且数值变小
缺点：
sigmoid 在深度学习中几乎被弃用，最大的问题是容易梯度消失，因为
a) sigmoid 在两侧梯度趋于 0，且在大部分 x 上，其对应的梯度趋近于 0，只有中间一小部分，梯度明显，但是你敢指望 x 取到这么小个区间？
b)sigmoid 梯度最大为 x=0 时，此时梯度值为 f(0)[1-f(0)] = 0.25，最大才 0.25，岂不是很容易消失
下图为 sigmoid 导数图
最大 0.25，abs(x)>4，梯度几乎为 0 了
还有一些不太致命的缺点：
1. 冥函数，计算耗时，增加训练时间
2. 输出不是 0 均值，即 zero-centered，若 x>0，则 f(x)>0，梯度也大于 0，两个 大于0 相乘 仍然大于0，这样 w 就一直往一个方向调整，收敛缓慢；
当然 batch 可以缓解这个问题
3. 在梯度较大的区域，也就是中间那块，模型趋于线性
tanh
双曲正切，图如下(左)
表达式
优点：
1. 解决了 sigmoid 的 非0均值问题
2. 它的求导也很方便，f'(x) = 1-f2(x)
缺点：同 sigmoid 一样，梯度消失
ReLu
在深度学习中应用最广的激活函数，图如下
他本质是个分段线性模型，多个 relu 可以构建非线性决策面
优点：
1. 避免梯度消失
2. 求导极其方便，只需判断 是否大于0，计算速度快
3. 梯度恒为1，收敛速度快 【sigmoid 梯度最大才 0.25】
4. ReLU关闭了右边，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似L1的正则化作用，可以在一定程度上缓解过拟合。
缺点：
1. relu 的输出也不是 zero-centered
2. Dead Relu Problem，指的是某些神经元永远不被激活，导致相应的参数永远不被更新， 导致这种情况的原因大致有两种
a) 初始化参数不当，比较少见
b) learning rate 设置过大，导致参数更新过快，不幸陷入这种状态
解决方法是可以采用 Xavier 初始化方法，以及避免将 learning rate 设置太大或使用 adagrad 等自动调节 learning rate 的算法
目前在深度学习中是最常用的激活函数
Leaky Relu
与 relu 很相似，relu 的右边是 0，leaky relu 的右边避免了 0 的出现，向下偏移了一个很小的角度，使得梯度和输出均不为 0， 图如下
表达式 f(x)=max(αx,x) α 是小于 1 的正数
优点：
一定程度上避免了 relu 的问题
参考资料：
https://blog.csdn.net/tyhj_sf/article/details/79932893
https://blog.csdn.net/God_68/article/details/85262255