[DL]激活函数

一、激活函数：是一个非线性函数，用激活函数套在线性函数外面，正割函数就变成非线性函数，用在神经网络中，可以使得本只能拟合线性曲线的网络层，可以拟合非线性曲线。

二、激活函数举例：

1、sigmoid: y=1/(1+e^{-x}) ——>0<y<1,mean=0.5，适用于二分类

2、tanh: y = (exp(x) - exp(-x))/(exp(x) + exp(-x)) ——> -1 < y < 1，mean = 0，

tanh比sigmoid高效是因为tanh的均值为0，神经元更喜欢靠近0的输入值

sigmoid和tanh的缺点：当输入数据的值比较大时，神经网络的学习较慢。

3、relu: y = x, while x > 0

y = 0, while x <= 0

4、leaky relu : y = x,x > 0

y = λx, x <= 0

5、softmax: y = exp(z) / np.sum(exp(z))