LSTM 长短记忆网络
LSTM 是 RNN 的升级版,应用更广泛。
解决的问题:
增加控制参数C,保留有价值的信息;
C 可以看做一个权重列表:[0, 0.1, 0.8, 1] 舍弃,小部分保留,大部分保留,全部保留。
LSTM 的重点是 控制参数怎么更新
如何训练C参数?
门是一种让信息选择式通过的方法
Sigmoid 神经网络层和一乘法操作
Sigmoid 公式:
$ g(z) = frac{1}{1 + e^{-z}}$
Sigmoid 在负无穷到正无穷的范围类,数值在 0--1 之间;
描述每个部分多少量可以通过,0代表不允许任何量通过,1 代表允许任何量通过。
1、决定丢弃信息
- (h_{t-1}):上一层中间结果;
- (x_t):当前数据;
- (sigma):激活函数;
- (f_t):所有值在 0-1 范围之间。(f_t) 和 (C_{t-1}) 组合,乘法操作,决定丢弃什么信息。
$ f_{t}=sigma (W_{f} cdot [h_{t-1}, x_{t} ]+b_{f} )$
2、确定要更新的信息
- (i_{t}) 要保留下来的新信息
- (C_{t}) 新数据形成的控制参数
$i_{t} = sigma (W_{i} cdot [h_{t-1}, x_{t} ] + b_{i} ) $
( ilde{C}_{t} = anh (W_{C} cdot [h_{t-1}, x_{t}]+b_{C} ))
3、更新细胞状态
$C_{t} = f_t * C_{t-1} + i_t * ilde{C}_{t} $
4、输出信息
- (o_t):什么都没忘,全留下的信息
- (h_t):输出值
- (C_t):更新完的结果
(o_t = sigma (W_o [h_{t-1}, x_t] + b_o))
(h_t = o_t * tanh(C_t))
参考资料
- 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
https://zybuluo.com/hanbingtao/note/581764