1. 神经网络
首先引入一些便于稍后讨论的新标记:
$L$:代表神经网络层数
$S_l$:代表第$l$层处理单元的个数
$K$:代表多分类中类别种数
2. 前向传播(forward propagation)
以上图为例:
令$ extbf{z}^{(2)} = Theta^{(1)} extbf{x}$,则$ extbf{a}^{(2)} = g( extbf{z}^{(2)})$,计算后添加 $a_0^{(2)} = extbf{I}$
令$ extbf{z}^{(3)} = Theta^{(2)} extbf{a}^{(2)}$, 则输出$h_{Theta}( extbf{x}) = extbf{a}^{(3)} = g( extbf{z}^{(3)})$
具体计算如下图:
$g(z)$:代表神经元激活函数
$a_i^{(l)}$:代表第$l$层第$i$个激活单元
$Theta_{mn}^{(l)}$:代表第$l$层映射到第$l+1$层是权重矩阵,$m$是第$l+1$层激活单元数,$n$是第$l$层激活单元数+“偏置单元”
3. 反向传播(backpropagation propagation)
代价函数: