TensorFlow实现的激活函数可视化

书上的代码：

# coding: utf-8

# In[1]:

import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from pylab import *


# In[19]:

def show_activation(activation,y_lim=5):
    x=np.arange(-10., 10., 0.01)
    ts_x = tf.Variable(x)
    ts_y =activation(ts_x )
    with tf.Session() as sess:
        init = tf.global_variables_initializer()
        sess.run(init)
        y=sess.run(ts_y)
    ax = gca()
    ax.spines['right'].set_color('none')
    ax.spines['top'].set_color('none')
    ax.spines['bottom'].set_position(('data',0))
    ax.spines['left'].set_position(('data',0))
    ax.xaxis.set_ticks_position('bottom')
    ax.yaxis.set_ticks_position('left')
    lines=plt.plot(x,y)
    plt.setp(lines, color='b', linewidth=3.0)
    plt.ylim(y_lim*-1-0.1,y_lim+0.1) 
    plt.xlim(-10,10) 

    plt.show()


# In[20]:

show_activation(tf.nn.sigmoid,y_lim=1)


# In[4]:

show_activation(tf.nn.softsign,y_lim=1)


# In[5]:

show_activation(tf.nn.tanh,y_lim=1)


# In[6]:

show_activation(tf.nn.relu,y_lim=10)


# In[7]:

show_activation(tf.nn.softplus,y_lim=10)


# In[8]:

show_activation(tf.nn.elu,y_lim=10)


# In[14]:

a = tf.constant([[1.0,2.0],[1.0,2.0],[1.0,2.0]])
sess = tf.Session()
print(sess.run(tf.sigmoid(a)))


# In[ ]:

sigmoid激活函数：

S(x)=1/(1+e^-x)

优点在于输出映射在0-1内，单调连续，适合做输出层，求导容易。

缺点在于软饱和性，即当x趋于无穷大时，一阶导数趋于0，容易产生梯度消失，神经网络的改善缓慢或消失。

softsign激活函数：

tanh激活函数：

tanh(x)=(1-e^-2x)/(1+e^-2x)

也具有软饱和性，收敛速度比sigmoid快，但是仍无法解决梯度消失的问题。

relu激活函数：

f(x)=max(x,0)

缺点：当relu在x<0时硬饱和，即在负半轴，激活函数的一阶导数等于0。

优点：由于x>0时导数为1，所以relu能在正半轴保持梯度的不衰减，缓解梯度消失的问题。

但是随着训练的进行，部分落入硬饱和区，权重无法更新。

softplus激活函数：

relu的平滑版本f(x)=log(1+exp(x))

此外还有的激活函数如下数张图：

等等..............................................................................................

......................................................................................................

输入数据特征相差明显时，tanh效果较好，不明显时，sigmoid较好。二者在使用时需要对输入进行规范化，减少进入平坦区的可能。

relu是比较流行的激活函数，不需要输入量的规范化等...