autoencoder可以用于数据压缩、降维，预训练神经网络，生成数据等等。
autoencoder的架构
autoencoder的架构是这样的：
需要分别训练一个Encoder和一个Decoder。
比如，一张数字图片784维，放入Encoder进行压缩，编程code，通常要小于原来的784维；
然后可以将压缩后的code，放入Decoder进行reconsturct，产生和原来相似的图片。
Encoder和Decoder需要一起进行训练。
下面看看PCA对于数据的压缩：
输入同样是一张图片，通过选择W，找到数据的主特征向量，压缩图片得到code，然后使用W的转置，恢复图片。
我们知道，PCA对数据的降维是线性的(linear)，恢复数据会有一定程度的失真。上面通过PCA恢复的图片也是比较模糊的。
所以，我们也可以把PCA理解成为一个线性的autoencoder，W就是encode的作用，w的转置就是decode的作用，最后的目的是decode的结果和原始图片越接近越好。
现在来看真正意义上的Deep Auto-encoder的结构。通常encoder每层对应的W和decoder每层对应的W不需要对称(转置)。
从上面可以看出，Auto-encoder产生的图片，比PCA还原的图片更加接近真实图片。
上面是使用PCA和autoencoder对于数字图片压缩后的可视化结果，明显autoencoder的区分度更高。
De-noising auto-encoder
为了让aotoencoder训练的更好，更加robust，我们在训练的时候加入一些noise，这就是De-noising auto-encoder。
examples
接下来再看两个例子。
文本检索，简单的词袋模型，将文本转化成词向量。
当搜索的词和文本向量角度越接近，就说明内容越相关。
将词向量放入autoencoder中进行压缩，得到code，内容相近的文本，code也越接近。
不同主题的文本被明显的分开，得到右上的2维图像。
搜索图片的相似性。
搜索红框中的迈克杰克逊的照片，下面是使用像素点之间的欧式距离得到的搜索结果。
下面使用autoencoder编码后的code，进行相似性的搜索结果。
使用CNN实现autoencoder
经过多次convolution和pooling后的code，可以再经过deconvolution和unpooling恢复。
下面将如何实现unpooling和deconvolution。
在maxpooling时，需要记住max值在图片中的位置。
当进行unpooling时，把小的图片做扩展，先把max值恢复到之前的位置，然后在之前进行maxpooling的field内的像素都置为0.
接下来看Deconvolution
现在假设一个field里面有3个像素点，每个filter的3个weight作用下得到一个output，如图左。
而deconvolution就是要让这3个output复原成原来那么多的点，一个output变成3各点，把重叠的点加起来，如图中。
现在，将3个output进行扩展，给扩展的点的值为0，然后就依然做convolution，还是可以得到和图中相同的结果。
所以，deconvolution其实就是convolution。
最后，我们可以使用autoencoder压缩后的code，输入到decoder里，得到一张新的图像，如下所示。
