1.autoencoder
autoencoder的目标是通过学习函数,获得其隐藏层作为学习到的新特征。
从L1到L2的过程成为解构,从L2到L3的过程称为重构。
每一层的输出使用sigmoid方法,因为其输出介于0和1之间,所以需要对输入进行正规化
使用差的平方作为损失函数
2.sparse
spare的含义是,要求隐藏层每次只有少数的神经元被激活:
隐藏层的输出a,a接近于0,称为未激活
a接近1,成为激活
使用如下方法衡量:
每个隐藏层的神经元有p的概率为激活,1-p的概率未激活(p一般取0.05、0.01等接近0的値)
用作为p的估计
使用KL散度,衡量两个分布的差异性