为什么需要激活函数？
在Grokking书中之前的章节，我们学会了如何搭建一个如下所示的、简单的神经网络，并根据输出数据做出预测。
很容易可以看出：隐藏层神经元的值，是对应的输入层神经元乘以权重后的累加和。同理，输出层神经元的值也是如此。
这就导致了一个问题：不管隐藏层如何叠加，最终的预测结果总是输入值的线性表示。
在具体的场景中，这个问题更加的直观。比如在下图所示的分类问题中，我们可以很容易的找到一条线段完成分类操作：
但是在处理类似异或等问题时，我们始终不能用一条线段来完成分类
为了解决类似的问题，我们在神经网络中引入激活函数，使得最终的预测结果与输入值之间的关系变成非线性关系。
激活函数的性质
首先激活函数必须是连续的，在这里先复习以下函数连续的概念：
设函数 y = f (x)在点x0的某邻域内有定义，如果当自变量的改变量△x趋近于 零时，相应函数的改变量△y也趋近于零，则称y = f (x)在点 x0处连续
也就是说，如函数y = f (x)在点x0出连续时满足下列条件：
函数在该点处有定义；函数在该点出的极限存在且极限值等于函数值
另一方面，激活函数的输入域应该是无限，你要保证对于任意的x值激活函数都由相对应的映射值。
什么是一个好的激活函数？
首先一个好的激活函数应该是单调的，如下图所示的激活函数就并非一个优秀的激活函数，因为在神经网络中绝大多数情况下不同的两个x值对应相同的y值是没有意义的。
其次，一个好的激活函数应当是非线性的（不然我引入吔屎吗？）
最后，一个好的激活函数及其派生函数应该是可以被有效计算的（这里的有效计算指计算的时间复杂度是多项式复杂度）
常用的激活函数
一、Sigmoid函数
sigmoid函数即 S(x) = 1/(1+exp(-x))
sigmoid函数的缺点在于：函数并非关于原点中心对称，同时可以很直观的看出，在|x|趋近于无穷时，会’杀死梯度‘。
二、Tanh函数
tanh函数即 T(x) = (exp(x)-exp(-x))/(exp(x)+exp(-x))
tanh函数解决了sigmoid函数不关于原点中心对称的问题，但是梯度消失的现象依然存在
三、Relu函数
relu函数即 R(x) = max(0,x)
relu函数解决了梯度消失的问题，同时计算效率极高。
其缺点在于relu函数会杀死部分神经元。这个问题可以被Leaky ReLU函数解决，Leaky ReLU函数为：LR(x) = max(0.01x,x)