一、Abstract
从近期对unsupervised learning 的研究得到启发，在large-scale setting 上，本文把unsupervised learning 与supervised learning结合起来，提高了supervised learning的性能。主要是把autoencoder与CNN结合起来
二、Key words:
SAE;SWWAE; reconstruction；encoder；decoder;VGG-16;Alex-Net
三、 Motivation
- reconstruction loss 很有用，reconstruction loss可以看作一个regularizer（SWWAE文中提到）.
- unsupervised learning会对model起一定的限定作用，即相当于一个regularizer，这个regularizer使得encoder阶段提取得到的特征具有可解释性
四、Main contributions
- 本文实验表明了，high-capacity neural networks（采用了known switches）的 intermediate activations 可以保存input的大量信息，除了部分
2.通过结合decoder pathway 的loss，提升了supervised learning model的分类正确率
3.做了几个 autoencoder模型的对比实验，发现： the pooling switches and the layer-wise reconstruction loss 非常重要！
五、Inspired by
- Zhao, J., Mathieu, M., Goroshin, R., and Lecun, Y. Stacked what-where auto-encoders. ArXiv:1506.02351, 2015.
- Simonyan, K. and Zisserman, A. Very deep convolutional networks for large-scale image recognition. In ICLR,2015.
- Krizhevsky, A., Sutskever, I., and Hinton, G. E. Imagenet classification with deep convolutional neural networks.In NIPS, 2012.
Rasmus, A., Valpola, H., Honkala, M., Berglund, M., and Raiko, T. Semi-supervised learning with ladder network.In NIPS, 2015. - Adaptive deconvolutional networks for mid and high level feature learning
- Zeiler, M. D., Krishnan, D., Taylor, G. W., and Fergus, R. Deconvolutional networks. CVPR, 2010.
- Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolu-tional networks for mid and high level feature learning.In ICCV, 2011.
key word:SWWAE;VGG-16;Alex-Net;ladder-Net；Deconvolutional network
六、文献具体实验及结果
1.SAE-all模型的训练：
第一步，采用VGG-16（训练好的VGG-16）初始化encoder，采用gaussian初始化decoder
第二步，固定encoder部分，用layerwise的方法训练decoder
第三步，用数据整体的训练更新decoder和encoder的参数
SAE-first模型的训练同SAE-all
SAE-layerwise一般只是拿来初始化 SAE-first SAE-all
SWWAE-all 提升了 1.66 % and 1.18% for single-crop and convolution schemes.
(top-1)
七、 感悟
- 2006～2010年期间， unsupervised learning 盛行是以为当时有标签数据不够大，所以需要用unsupervised leanring 的方法来初始化网络，可以取得较好效果，而 类似imagenet这样的大量标签数据的出现， 用autoencoder来初始化网络的优势已经没有。从这里也可以知道，当数据量较小时，可以考虑用unsupervised learning 的方法来初始化网络，从而提升分类准确率
- reconstruction loss 可以看作 regularization , 即是对enconder的weights做了一些限制，限制其获得的activations要能recon出input，是的提取得到的特征具有可解释性