深度回声状态网络Deep Echo StateNetwork(DESN)

相对于经典网络（输入层，隐藏层，输出层），ESN（回声状态网络）有三部分组成（输入层，储存池，输出层），ESN通过随机部署大规模的系数链接的神经元构成网络隐层，一般称为

“储存池”，ESN的特点是：

• 包含数目较多的神经元
• 神经元之间的连接关系是随机产生的
• 神经元之间的连接具有稀疏性

1.什么是稀疏性呢？

　　解答：稀疏指的是参数或者数据中零的个数,零的个数越多,参数或者数据就越稀疏.

2.网络结构

• 输入层（input layer）：

　　输入向量n * 1

　　输入层-->储存池链接权重为：W_in m*n维度

　　特别提醒：W_in是不需要训练的，只需要随机初始化就可以

• 储存池（reservoir）:

　　储存池接受两个输入，一个是输入层U(n),一个是来自储存池前一个状态的输出x(n-1)，其中输入权重矩阵W_in和储存池内部反馈矩阵W^均不需要训练，由随机初始状态决定，所以W^为大型稀疏矩阵，其中的非0元素表示储存池中被激活的神经元。

W_in和W^是通过分析回波状态属性而获得并初始化的。在此阶段，重点是采用两个因素ρ作为递归权重矩阵的频谱半径（这表示内存长度和储层动力学程度）和泄漏参数α。一般情况下ρ(W^)<1，ESN才具有回声状态属性，从而确保网络的状态和输入经过足够长时间后对网络的影响才会消失。

• 输出层（readout）:

　　储存池-->输出层是线性连接关系，既满足：

3. ESN算法的实现过程

　　a.权重参数的初始化，输入矩阵和储存池内反馈矩阵初始化

　　b.训练过程，

• 收集储存池状态和每一个输出目标值
  　　　　
• 训练线性输出
  　　
• 离线训练