Neural Network

1, 神经元（Neuron）

   $ y = f(w_1*x_1 + w_2*x_2 + ... + b) $

     f is activation function

• Sigmoid function (两端饱和的函数)

        Logistic function: $sigma(x) = frac{1}{1+exp(-x)}$

        Tanh function:  $ tanh(x) = 2sigma(2x)-1 $

• ReLU (Rectified Linear Unit)

          计算简单

2， 网络分类

   前馈网络（DNN，CNN）

   记忆网络（RNN，玻尔兹曼机）

   图网络