from：http://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#recurrent-layers
class torch.nn.LSTM( args, * kwargs)[source]
将一个多层的 (LSTM) 应用到输入序列。
对输入序列的每个元素，LSTM的每层都会执行以下计算： $$ egin{aligned} i_t &= sigmoid(W_{ii}x_t+b_{ii}+W_{hi}h_{t-1}+b_{hi}) f_t &= sigmoid(W_{if}x_t+b_{if}+W_{hf}h_{t-1}+b_{hf}) o_t &= sigmoid(W_{io}x_t+b_{io}+W_{ho}h_{t-1}+b_{ho}) g_t &= tanh(W_{ig}x_t+b_{ig}+W_{hg}h_{t-1}+b_{hg}) c_t &= f_tc_{t-1}+i_tg_t h_t &= o_t*tanh(c_t) end{aligned} $$ $h_t$是时刻$t$的隐状态,$c_t$是时刻$t$的细胞状态，$x_t$是上一层的在时刻$t$的隐状态或者是第一层在时刻$t$的输入。$i_t, f_t, g_t, o_t$ 分别代表 输入门，遗忘门，细胞和输出门。
参数说明:
-
input_size – 输入的特征维度
-
hidden_size – 隐状态的特征维度
-
num_layers – 层数（和时序展开要区分开）
-
bias – 如果为
False，那么LSTM将不会使用$b_{ih},b_{hh}$，默认为True。 -
batch_first – 如果为
True，那么输入和输出Tensor的形状为(batch, seq, feature) -
dropout – 如果非零的话，将会在
RNN的输出上加个dropout，最后一层除外。 -
bidirectional – 如果为
True，将会变成一个双向RNN，默认为False。
LSTM输入: input, (h_0, c_0)
-
input (seq_len, batch, input_size): 包含输入序列特征的
Tensor。也可以是packed variable，详见 [pack_padded_sequence](#torch.nn.utils.rnn.pack_padded_sequence(input, lengths, batch_first=False[source]) -
h_0 (num_layers * num_directions, batch, hidden_size):保存着
batch中每个元素的初始化隐状态的Tensor -
c_0 (num_layers * num_directions, batch, hidden_size): 保存着
batch中每个元素的初始化细胞状态的Tensor
LSTM输出 output, (h_n, c_n)
-
output (seq_len, batch, hidden_size * num_directions): 保存
RNN最后一层的输出的Tensor。 如果输入是torch.nn.utils.rnn.PackedSequence，那么输出也是torch.nn.utils.rnn.PackedSequence。 -
h_n (num_layers * num_directions, batch, hidden_size):
Tensor，保存着RNN最后一个时间步的隐状态。 -
c_n (num_layers * num_directions, batch, hidden_size):
Tensor，保存着RNN最后一个时间步的细胞状态。
LSTM模型参数:
-
weight_ih_l[k] – 第
k层可学习的input-hidden权重($W_{ii}|W_{if}|W_{ig}|W_{io}$)，形状为(input_size x 4*hidden_size) -
weight_hh_l[k] – 第
k层可学习的hidden-hidden权重($W_{hi}|W_{hf}|W_{hg}|W_{ho}$)，形状为(hidden_size x 4*hidden_size)。 -
bias_ih_l[k] – 第
k层可学习的input-hidden偏置($b_{ii}|b_{if}|b_{ig}|b_{io}$)，形状为( 4*hidden_size) -
bias_hh_l[k] – 第
k层可学习的hidden-hidden偏置($b_{hi}|b_{hf}|b_{hg}|b_{ho}$)，形状为( 4*hidden_size)。