http://www.scientifichpc.com/processdata/seq2seq.html
序列到序列自动编码器
过程数据由动作序列组成。 为了通过自动编码器从过程数据中提取特征,我们需要构造一个自动编码器,该编码器需要一个动作序列并生成一个重构的动作序列。 简而言之,我们需要一个序列到序列的自动编码器。
编码器
假设有N个可能的动作。 给定一个动作序列,我们的编码器首先将N个唯一动作中的每一个与一个K维数值向量相关联,称为动作嵌入。 通过该操作,将长度为T的动作序列转换为T K维矢量的序列。 然后,将此向量序列馈送到循环神经网络(RNN),其最后一个输入(由θ表示)用作编码器的输出,该编码器对序列中的信息进行汇总。 编码器的参数是动作嵌入和RNN中的参数。