神经网络与机器学习 笔记—核方法和径向基函数网络（下）

径向基函数（RBF）网络结构，基于产值理论

 

    

1. 输入层，由m0个源节点组成，其中m0是输入向量x的维数。
2. 隐藏层，由和训练样本的大小N相同个数的计算单元组成，每个单元都从数学上用一个径向基函数描述：

3. 

 

第j个输入数据点xj定义了该径向基函数中心，向量x是作用于输入层的信号（模式）。因此，与多层感知器不同，源节点和隐藏单元的链接是直接链接，没有权值。

1. 输出层，上图输出层由单一计算单元构成。除了一般情况下输出层的大小比隐藏层的大小要小得多之外，对于输出层的大小没有限制。

之后，重点考虑高斯函数作为径向基函数的使用，在这样的情况下，隐藏层的每个计算单元可以定义为：

 

其中ρj是第j个以xj为中心的高斯函数的宽的测量。一般情况下，高斯隐藏单元被分配给一个公用的宽ρ。在这一类情形下，将隐藏单元区分开的参数是中心x,。在建立RBF网络时选择高斯函数作为径向基函数背后的基本原理是它具有多个所希望的性质，随着学习的进行这些性质将变得很明显。

    模式识别或者非线性回归的背景下训练样本{xi,di}^N i=1 通常是含噪声的。遗憾的是，基于噪声数据使用插值将导致引入歧途的结果-一次需要RBF网络的不同设计途径。

需要注意的另一个实际问题是：使隐藏层具有和输入样本数相同的大小可能导致计算资源的浪费，尤其是处理大规模训练样本时。当RBF网络的隐藏层是由上式描述的方式所指定时，发现在训练样本中数据点之间存在的相关性相应地一直到了隐藏层的单元上。由于训练样本中可能存在的固有冗余，隐藏神经元也具有冗余。在这种情况下，使得隐藏层的大小事训练样本大小的一部分因而是一个好的设计实践（也就是把隐藏层压缩减小）。

 

可以考虑利用K均值聚类（ https://blog.csdn.net/u013761036/article/details/96136282 ）的方式把隐藏层N压缩到K。

最后在用最小二乘估计（RLS）计算输出层之前的那些W

 

“K-均值，RLS”算法的一个有吸引力的特征是它的计算高效性，这是由于K-均值和RLS算法都在其各自的方式上是计算高效的这一事实。这一算法唯一可疑的特征是缺少将隐藏层的训练和输出层的训练结合起来的总的最优准则，从而在统计意义上保证整个系统的最优性。