0. 前言
通常神经网络的问题：
- 参数如何选择
- 何时停止训练
- 局部最优解
1. 回声网络ESN
具有以下特点：
- 大且稀疏生物连接，RNN被当做一个动态水库
- 动态水库可以由输入或/和输出的反馈激活
- 水库的连接权值不会被训练改变？
- 只有水库的输出单元的权值随训练改变，因此训练是一个线性回归任务
假设有ESN是一个可调谐的sin波生成器：
- 黑色箭头是指固定的输入和反馈连接
- 红色箭头指可训练的输出连接
- 灰色表示循环内连接的动态水库
典型RNN存在的问题：
- 没有明确的终止条件
- 通常这些算法收敛速度慢和/或导致次优解
- ESN使用大循环水库（50-1000），而RNN通常只用到5-30个神经元
为什么需要循环神经网络：
- 如果人们想要模拟、预测、过滤、分类或控制非线性动力系统，就需要一个可执行的系统模型
- 通常获得分析模型是不可行的，因此必须使用黑箱建模技术
- 对于线性系统，可以使用有效的黑箱建模方法
- RNNs可用于非线性动力系统的建模
为什么使用ESN：
-
统计信号处理的典型方法是建立在三个基本假设：线性、稳定和高斯分布。为了便于数学计算而引入的假设。
-
大多数的实际物理信号是由动态过程产生，这些过程是非线性的、非稳定的和非高斯的
-
ESNs和一般RNNs在非线性领域推广了简单的自适应线性滤波器，可用于任何非线性动力系统的建模
输入到水库是全连接，水库到输出是全连接，水库内部不是全连接
ESN描述：
- 水库有N个内部网络单元
- 在时刻(n geq 1)，输入是(u(n))，输出是(y(n))
- 内部单元的激活是一个(N*1)向量：(x(n)=(x_1(n), ...,x_N(n)))
- 水库内部连接表示为一个(N*N)的矩阵(W)，表示内部的拓扑结构以及连接的权值
- 输入权值表示为(N*1)的向量(w^{in})
- 输出权值表示为((N+1)*1)的向量(w^{out})
- 因为有水库输出权值连接(N)，以及输入到输出的连接(1)，所以为((N+1))长度的向量
非线性系统描述：
-
(x(n+1)=f(Wx(n)+w^{in}u(n+1)+v(n+1)))
- 每个神经元都和输入、部分神经元连接，
-
(y(n+1)=f^{out}(w^{out}(u(n+1),x(n+1))))
（内部状态(x(n))指的是什么？）
在确定条件下网络状态逐渐独立于初始状态，并只依赖于输入历史，体现网络的记忆能力：
-
(W)有谱半径(|lambda_{max}|>1)，谱半径是矩阵的最大特征值，此时就会丢失回声特性，需要对其做归一化处理，(W_{new}=W/|lambda_{max}|)
- 为了保证系统稳定能够收敛，需要将(Wx=y)的输出(y)小于输入(x)，(W_{new}=W/|lambda_{max}|)
- 特征值的概念就是方阵在特征向量上的投影，特征向量相当于是空间中的一组基，所以特征值相当于是方阵在一组基上的半径。谱半径是这种半径的最大值，也就是最大特征值。除以(lambda_{max})相当于归一化。
-
(W)最好是稀疏矩阵
-
通常(W)是由([-1,1])的均匀分布随机生成，然后使用(|lambda_{max}|)做归一化处理使谱半径(alpha)小于1，(alpha)是ESN成功的重要参数，小的(alpha)对应快的信号，大的(alpha)对应慢信号和更长的短时记忆。
在训练时我们计算输出权值，误差描述为：
(e_{train}(n) = (f^{out})^{-1}y_{teach}(n)-w^{out}(u_{teach}(n),x(n)))
离线训练算法过程：
- 初始化(W)，保证其谱半径(alpha<1)，用输入的教师信号运行ESN
- 从初始瞬态中消除数据，并将剩余的输入和网络状态((u_{teach}(n);x_{teach}(n)))按行收集到矩阵(M)中
- 收集训练信号((f^{out})^{-1}y_{teach}(n))到向量(r)
- (w^{out}=(M^{-1}r)^T)
- 实质上是求解(y(n+1)=f^{out}(w^{out}(u(n+1),x(n+1))))
- 假设(y(n)=w^{out}(u(n), x(n)))，并且(U(t) = (u(t), x(t)))，则有(w^{out}=y(n)U^T(t)(U(t)U^T(t)-lambda I)^{-1})
由此，就得到了输出权值
ESN将非线性问题转换为线性回归问题，只需要训练输出系数(w^{out})。
4个决定性能的参数：
- 池谱半径，(lambda_{max}<1)是网络稳定的必要条件
- 池规模（节点数），池规模越大对动态系统的描述越接近，但是会带来过拟合
- 池输入单元尺度(w_{in})，需要处理的对象的非线性越强该值越大
- 池稀疏程度，表示池中神经元之间的连接情况，池中不是所有的神经元都存在连接。稀疏程度指的是池中相互连接的神经元占总的神经元的百分比，其值越大非线性能力越强
参考资料：
[1] ESN介绍