zoukankan      html  css  js  c++  java
  • 神经网络特征可视化

    1. visualizing higher-layer features of a deep network


    本文提出了两种可视化方法。 

    1. 最大化activation

    当训练完一个深层神经网络之后, 固定全部參数。 然后对于某一个神经元的activation进行梯度上升优化来寻找能使它的值最大化的input。

    不断的用gradient ascent来更新一个初始化为random value的input。

    converge 之后的input就是能使这个神经元activation最大化的input。 也就是这个神经元学到的feature。


    2. sampling from a unit of a deep belief network

    把一个神经元的activation设为1。 然后generate 一些对应的samples, 通过这些samples预计一个distribution。


    3. linear combination of previous layers' filters

    这个是已经存在的技术, 用底层的filter线性组合来visulze上层的filter


    结论

    1. 不同的网络结构或者模型会学到不同的filter。

    2. 好的模型学到的filter通常比較easy解释,可是这个不是100%适用。 有些model学到的feature看似不好可是这个model效果也可能非常好。

    3. deep model 高层的feature相对照较high level 并且能够是底层feature的组合。

  • 相关阅读:
    BSGS
    斯特林数 笔记
    「CF932E」Team Work
    「hihoCoder1869」Items
    「Luogu1345」[USACO5.4]奶牛的电信Telecowmunication
    「Luogu4363/BZOJ5248」[九省联考2018]一双木棋chess
    「Luogu2522」[HAOI2011]Problem b
    狄利克雷卷积学习笔记
    莫比乌斯函数学习笔记
    欧拉函数学习笔记
  • 原文地址:https://www.cnblogs.com/wzjhoutai/p/7308530.html
Copyright © 2011-2022 走看看