问,更换单层感知器的激活函数(比如改为 tanh 函数),能否使模型具有解决非线性分类问题的能力。
tanh(s)=exp(s)−exp(−s)exp(s)+exp(−s)
可知,tanh 过原点,在 s>0 时,tanh>0,s<0 时,tanh<0。
单层感知器是否具有解决非线性问题的能力,在于判断:
sgn(tanh(w⋅x))>0⇒tanh(w⋅x)>0⇒w⋅x>0sgn(tanh(w⋅x))>0⇐tanh(w⋅x)>0⇐w⋅x>0
也即 tanh (非线性函数)激励函数的引入并未在解决非线性问题上带来新的更强的能力。