zoukankan      html  css  js  c++  java
  • 稀疏自动编码之可视化自动编码器

    对于训练出的一个稀疏自动编码器,现在想看看学习出的函数到底是什么样子。对于训练一个	extstyle 10 	imes 10的图像,	extstyle n = 100.计算每一个隐层节点  	extstyle i  的输出值:

    egin{align}
a^{(2)}_i = fleft(sum_{j=1}^{100} W^{(1)}_{ij} x_j  + b^{(1)}_i 
ight).
end{align}

    我们要可视化的函数,就是这个以一副2D图像为输入,以	extstyle W^{(1)}_{ij} 为参数(忽略偏置项),由隐层节点 	extstyle i 计算出来的函数。特别是,我们把 	extstyle a^{(2)}_i 看作是输入 	extstyle x 的非线性特征。我们很想知道:什么样的的图像 	extstyle x 能使得 	extstyle a^{(2)}_i 成为最大程度的激励? 还有一个问题,就是必须对 	extstyle x 加上约束。如果假设输入的范数约束是	extstyle ||x||^2 = sum_{i=1}^{100} x_i^2 leq 1,可以证明,能够使得隐层神经元得到最大程度激活的像素输入 	extstyle x_j  (所有100个像素点,	extstyle j=1,ldots, 100):

    egin{align}
x_j = frac{W^{(1)}_{ij}}{sqrt{sum_{j=1}^{100} (W^{(1)}_{ij})^2}}.
end{align}

    展示出由这些像素灰度值的构成的图像,我们就可以看到隐层节点学习出了什么样的特征。

    如果训练出一个含有100个隐层节点的自动编码器,那么我们可视化将会产生100幅图像(每个隐层节点对应一幅)。通过测试这100幅图像,试着理解隐层学习出的整体效果。

    下面给出了一个稀疏编码器(100个隐层节点,输入是	extstyle 10 	imes 10的图像)学习出的结果:

     上图的每个小方块都给出了一个输入图像	extstyle x,它可使这100个隐藏单元(隐层节点)中的某一个获得最大激励。我们可以看到,不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。这些特征对于物体识别和其他视觉学习任务很有用。当应用到其他领域(如音频),这个算法同样可以学习出很有用的表示或者特征。

    学习来源:http://deeplearning.stanford.edu/wiki/index.php/Visualizing_a_Trained_Autoencoder

  • 相关阅读:
    JAVA web数据库登录界面
    JAVA web之相关名词大调查
    继承与多态课后
    第六周课后作业 02
    凯撒密文问题
    定义一个类,使用静态和构造随时知道定义了几个变量(第五周课后01)
    NAIPC2018
    [学习笔记]网络流
    Rikka with Prefix Sum
    Traffic Network in Numazu
  • 原文地址:https://www.cnblogs.com/90zeng/p/Visualizing_a_Trained_Autoencoder.html
Copyright © 2011-2022 走看看