3. Neural network architecture
此处描述了在本文当中所使用的网络结构，和所提取的关键特征（key features）。首先，描述了两个新型的网络结构：the network-in-network nonlinearity和the statistics extraction layer（NIN非线性结构和统计信息提取层）。
3.1 Network-in-Network nonlinearity
如图（1）所示，该网络结构是一个多对多的非线性系统，由两个块对角阵组成，在使用的过程中，在同一层中，所有的NIN模块是参数共享的，且互相之间不重叠（non-overlapping）。
在NIN的内部，转换块(transformation block)(U_1)是尺寸为(m imes k)的矩阵，将尺寸为(m)的输入映射到维度为(k)的高维空间中，然后使用Relu函数进行非线性映射；(U_2)是尺寸为(k imes n)的矩阵，将非线性变化后的(k)维变量映射到(n)为空间当中，再进行Relu非线性映射。该NIN模块在论文中称之为“micro neural network blocks”。
如果，NIN模块在单层网络中共享权值，那么(U_1)的每一列可以解释为一维卷积核，且卷积核的尺寸为(m)，卷积的步长为(m)。
对于此处的理解：
[x cdot U_{(m,k)}=x cdot [u_1,u_2 cdots u_k]=[xcdot u_1,xcdots u_2 cdots xcdot u_k]
]
在图（2）当中，将本文提出的网络与基于MFCC的基线系统目标函数的收敛情况进行对比，可以得到：本文提出的网络目标函数的收敛速度较快，且收敛之后的目标函数的数值较好。