BPTT详解

一、基本概念 

RNN前向传播图

    

对应的前向传播公式和每个时刻的输出公式

$S_{t}=tanh(UX_t+WS_{t-1})  qquad qquad {y_t}'=softmax(VS_t)$

使用交叉熵为损失函数，对应的每个时刻的损失和总的损失。通常将一整个序列（一个句子）作为一个训练实例，所以总的误差就是各个时刻（词）的误差之和。

$ L_t=-y_tlog{y_t}' =-sum_i y_{t,i}log(y_{t,i}')$

$ L=sum_t L_t=-sum_ty_tlog({y_t}') $

将各公式整理如下：

 $

left{egin{matrix}
S_{t}=tanh(UX_{t}+WS_{t-1})\
z_t=VS_t\
{y_t}'=softmax(z_t)\
L_t=-y_t log{y_t}'=-sum_i y_{t,i}log(y_{t,i}') \
L=sum_t L_t
end{matrix} ight.

$

 对各个符号的解释

符号	解释
K	词汇表的大小
T	句子长度
H	隐藏层大小
$z_t$	长度为K的vector
${y_t}$	长度为K的vector,表示真实的标签，一般是one-vector
$y_{t,i}$	对应的第i个词的标签值
${y_t}'$	长度为K的vector,表示预测的向量
$y_{t,i}'$	表示生成的词在是词表的第i个词的概率
$L_t$	当前时刻的损失
$L$	一个句子的损失，由各个时刻的损失求和得到，$L=sum_t L_t$
$Vin mathbb{R}^{K imes H}$	隐藏层到输出层的权重
$Win mathbb{R}^{H imes K}$	上一个隐藏层状态到当前层的输入的权重
$Uin mathbb{R}^{H imes H}$	输入的权重

二、具体梯度求导

1.对V的导数

$ frac{partial L}{partial V}=sum_t frac{partial L_t}{partial V}$

$L_t=-y_t log{y_t}'=-sum_i y_{t,i}log(y_{t,i}')$

$y_{t,i}'=frac{e^{z_{t,i}}}{sum_k e^{z_{t,k}}}$

由链式求导法则

$frac{partial L_t}{partial V}=frac{partial L_t}{partial z_t }  frac{partial {z_t}}{partial V } qquad qquad frac{partial L_t}{partial z_t }=frac{partial L_t}{partial {y_t}' } frac{partial {y_t}' }{partial z_t }  $

其中$frac{partial L_t}{partial {y_t}'} $和$frac{partial {z_t}}{partial V }$的值如下

$frac{partial L_t}{partial {y_t}'} =-sum_{t,i}frac{ y_{t,i}}{y_{t,i}'}' $

$frac{partial {z_t}}{partial V }=S_t$

$z_t$是一个向量，如果生成的词是第i个词，那么i对应的位置的交叉熵和其他位置的交叉熵是不同的。

1)如果 $i = j$:第i位置的交叉熵

$frac{partial y_{t,i}'}{partial z_{t,i}}=frac{e^{z_{t,i}} sum_k e^{z_{t,k}} - e^{z_{t,i}} e^{z_{t,i}}} {({sum_k e^{z_{t,k}}})^2}=frac{e^{z_{t,i}}}{sum_k e^{z_{t,k}}}(1-frac{e^{z_{t,i}}}{sum_k e^{z_{t,k}}})=y_{t,i}'(1-y_{t,i}')$

2)如果 $i eq j$:其他位置的交叉熵

$frac{partial y_{t,j}'}{partial z_{t,i}}=-frac{e^{z_{t,j}} e^{z_{t,i}}} {({sum_k e^{z_{t,k}}})^2}=-frac{e^{z_{t,j}}} {sum_k e^{z_{t,k}}}frac{e^{z_{t,i}}} {sum_k e^{z_{t,k}}}=-y_{t,j}' y_{t,i}'$

偏导数的值，将两者的交叉熵相加，求的整个的熵

$ frac{partial L_t}{partial z_t}=(-sum_{t,i}frac{ y_{t,i}}{y_{t,i}'}) frac{partial y_{t,i}'}{partial z_{t,i}}  -frac{ y_{t,i}}{y_{t,i}'}y_{t,i}'(1-y_{t,i}')+  sum_{i,i eq j}  frac{ y_{t,i}} {y_{t,j}'}y_{t,i}' y_{t,j}'$

$= -y_{t,i}+y_{t,i}y_{t,i}'+  sum_{i,i eq j} y_{t,i} y_{t,i}'=-y_{t,i}+y_{t,i}'  sum_i y_{t,i}= y_{t,i}'-y_{t,i} $

在t时刻对V的偏导

$frac{partial L_t}{partial V}=frac{partial L_t}{partial z_t }  frac{partial {z_t}}{partial V } =(y_{t,i}'-y_{t,i} )S_t$

最终的损失，把各个时刻的相加则可得到。整个循环一遍，会改变参数，并不是每个时刻更新。

$ frac{partial L}{partial V}=sum_t frac{partial L_t}{partial V}$

2.对U的导数

对U的导数和对V的导数相似，

$ frac{partial L}{partial U}=sum_t frac{partial L_t}{partial U}$

$frac{partial L_t}{partial U}=frac{partial L_t}{partial z_t }  frac{partial {z_t}}{partial S_t }   frac{partial {S_t}}{partial U}  $

由V得到如下值：

$frac{partial L_t}{partial z_t }=(y_{t,i}'-y_{t,i} )$

$frac{partial {z_t}}{partial S_t }=V$

$frac{partial {S_t}}{partial U} =tanh' X_t$

所以

$frac{partial L_t}{partial U}=(y_{t,i}'-y_{t,i} )Vtanh' X_t$

3.对W的导数

 对W的导数会有依赖项，故而需要求解依赖项。

$ frac{partial L}{partial W}=sum_t frac{partial L_t}{partial W}$

$frac{partial L_t}{partial W}=frac{partial L_t}{partial z_t }  frac{partial {z_t}}{partial S_t }   frac{partial {S_t}}{partial W}  $

由V得到如下值：

$frac{partial L_t}{partial z_t }=(y_{t,i}'-y_{t,i} )$

$frac{partial {z_t}}{partial S_t }=V$

$frac{partial {S_t}}{partial W} =frac{partial {S_t}}{partial W} +frac{partial {S_t}}{partial S_{t-1}} frac{partial {S_{t-1}}}{partial W}+frac{partial {S_t}}{partial S_{t-1}} frac{partial {S_{t-1}}}{partial S_{t-2}}  frac{partial {S_{t-2}}}{partial W}cdotcdotcdot $

总结起来：

$frac{partial {S_t}}{partial W}=sum_k^Tprod_{j=k+1}^{T} frac{partial {S_t}}{partial S_{t-1}}frac{partial {S_k}}{partial S_W}$

$frac{partial L_t}{partial W}=frac{partial L_t}{partial z_t }  frac{partial {z_t}}{partial S_t }   frac{partial {S_t}}{partial W} =frac{partial L_t}{partial z_t }  frac{partial {z_t}}{partial S_t } sum_k^Tprod_{j=k+1}^{T} frac{partial {S_t}}{partial S_{t-1}}frac{partial {S_k}}{partial S_W}$

所以

$frac{partial L_t}{partial U}=(y_{t,i}'-y_{t,i} )Vtanh'  sum_k^Tprod_{j=k+1}^{T} frac{partial {S_t}}{partial S_{t-1}}frac{partial {S_k}}{partial S_W}$