Machine Learning

1. 回顾cost function

cost function for a neural network is:
J(Θ)=−1m∑t=1m∑k=1K[y(t)k log(hΘ(x(t)))k+(1−y(t)k) log(1−hΘ(x(t))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θ(l)j,i)2$\begin{array}{c}J(\mathrm{\Theta })=-\frac{1}{m}\sum _{t=1}^m\sum _{k=1}^K\left[y_k^{(t)}\log (h_{\mathrm{\Theta }}(x^{(t)}){)}_k+(1-y_k^{(t)})\log (1-h_{\mathrm{\Theta }}(x^{(t)}{)}_k)\right]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_l+1}({\mathrm{\Theta }}_{j,i}^{(l)}{)}^2\end{array}$

simple non-multiclass classification (k = 1) and disregard regularization, the cost is computed with:

cost(t)=y(t)log(hΘ(x(t))+(1−y(t))log(1−hΘ(x(t))$cost(t)=y^{(t)}log(h_{\mathrm{\Theta }}(x^{(t)})+(1-y^{(t)})log(1-h_{\mathrm{\Theta }}(x^{(t)})$

Theδ(l)j${\delta }_j^{(l)}$ is the error for a(l)j$a_j^{(l)}$ ,

δj(l)=∂cost(t)∂z(l)j$${\delta }_j(l)=\frac{\mathrm{\partial }cost(t)}{{\mathrm{\partial }}_{z_j^{(l)}}}$$

2. 计算δ(l)j${\delta }_j^{(l)}$

回顾一下前向传播，某一个节点的值是如何计算的。我们将把(xi，yi )输入到这个网络当中, x1i$x_i^1$和x2i$x_i^2$将是我们对输入层的设置. 当我们进入第一个隐层， 我们会计算z(2)1$z_1^{(2)}$和z(2)2$z_2^{(2)}$.然后我们来用冲击函数计算他们的激励值有a(2)1$a_1^{(2)}$和a(2)2$a_2^{(2)}$。之后我们把这些值乘以相应的权重如θ(2)10${\theta }_{10}^{(2)}$,θ(2)11${\theta }_{11}^{(2)}$,θ(2)12${\theta }_{12}^{(2)}$并赋予给z(3)1$z_1^{(3)}$，再使用sigmoid函数激活得到a(3)1$a_1^{(3)}$。 类似的，我们一直得到z(4)1$z_1^{(4)}$和最后的结果a(4)1$a_1^{(4)}$.

误差反向传播与正向传播很像，我们先看他的代价函数。考虑最简单的一个输出（K=1）的情况：
J(Θ)=−1m∑t=1m[y(t) log(hΘ(x(t)))+(1−y(t)) log(1−hΘ(x(t)))]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θ(l)j,i)2$\begin{array}{c}J(\mathrm{\Theta })=-\frac{1}{m}\sum _{t=1}^m\left[y^{(t)}\log (h_{\mathrm{\Theta }}(x^{(t)}))+(1-y^{(t)})\log (1-h_{\mathrm{\Theta }}(x^{(t)}))\right]+\frac{\lambda }{2m}\sum _{l=1}^{L-1}\sum _{i=1}^{s_l}\sum _{j=1}^{s_l+1}({\mathrm{\Theta }}_{j,i}^{(l)}{)}^2\end{array}$
不考虑正则化:

J(Θ)=−1m∑t=1m[y(t) log(hΘ(x(t)))+(1−y(t)) log(1−hΘ(x(t)))]$$J(\mathrm{\Theta })=-\frac{1}{m}\sum _{t=1}^m\left[y^{(t)}\log (h_{\mathrm{\Theta }}(x^{(t)}))+(1-y^{(t)})\log (1-h_{\mathrm{\Theta }}(x^{(t)}))\right]$$

上面简化的代价函数所做的事情就和下面的函数是一样的：

cost(t)=y(t)log(hΘ(x(t))+(1−y(t))log(1−hΘ(x(t))$$cost(t)=y^{(t)}log(h_{\mathrm{\Theta }}(x^{(t)})+(1-y^{(t)})log(1-h_{\mathrm{\Theta }}(x^{(t)})$$

这个函数的作用等价于逻辑回归时使用的均方误差，描述模型的输出和真实值的接近程度。

反向传播在做什么

首先，设置delta项 δ(4)1${\delta }_1^{(4)}$,正如我们对前向传播算法对训练数据i的做法一样。 δ(4)1=a(4)1−yi${\delta }_1^{(4)}=a_1^{(4)}-y_i$就是我们预测结果和真实结果的误差。我们 δ(4)1${\delta }_1^{(4)}$反向传播回去，得到 δ(3)1${\delta }_1^{(3)}$, δ(3)2${\delta }_2^{(3)}$. 进一步往前，得到 δ(21${\delta }_1^{(2}$和 δ(2)2${\delta }_2^{(2)}$. 看起来就像是前向传播,只不过我们现在反过来做了. 看看最后我们如何得到δ(2)2${\delta }_2^{(2)}$. 所以我们得到δ(2)2${\delta }_2^{(2)}$ 和前向传播类似，它与权重Θ(211${\mathrm{\Theta }}_{11}^{(2}$和 Θ(2)22${\mathrm{\Theta }}_{22}^{(2)}$，以及下一层的误差结果δ(3)1${\delta }_1^{(3)}$, δ(3)2${\delta }_2^{(3)}$相关，把这个值乘以它权值，最后做加权求和就得到了δ(2)2${\delta }_2^{(2)}$。同理这里还要知道δ(3)2${\delta }_2^{(3)}$，这就等于δ(4)1${\delta }_1^{(4)}$乘以它的权重。我们一般不考虑偏置单元。