参考自http://deeplearning.stanford.edu/wiki/index.php/Neural_Networks
神经元模型

h(x)= f(W'x)
f(z)一般会用sigmoid函数f(z) = 1/(1+exp(-z))

或tanh函数f(z) = (exp(z)-exp(-z))/(exp(z)+exp(-z)),

两个函数样子类似,区别是sidmoid的值域0~1,tanh在-1~1
注意sigmoid函数的导数特征f'(z)=f(z)(1-f(z))
或tanh函数f'(z)=1-(f(z)^2)
神经网络模型

上一层 的输出是下一层 的激励

若用

则可以

这样我们可以用更为简洁的方式表示

该步骤称之为前向传播(forward propagation)
更为普遍的表示方式为

当然也有其他更复杂的结构,输出层也可以有多个输出,如:
