zoukankan      html  css  js  c++  java
  • 论文笔记(2)-Dropout-Regularization of Neural Networks using DropConnect

    这篇paper使用DropConnect来规则化神经网络。dropconnect和dropout的区别如下图所示。dropout是随机吧隐含层的输出清空,而dropconnect是input unit到hidden unit输入权值以1-p的概率清0

    dropout的关键公式,其中m是size为d的列向量格式如下[0 0 1 0 0 0 1 1 ]T .这样的话就把隐层到输出层以一定的概率清空,概率一般为0.5

    dropconnect的关键公式,其中M和上面的m一个含义。这个就是说从输入层到隐层就要有一定的概率来清空。

    dropconnect的算法流程如下,和普通的算法不同的地方就是随机sample一个M mask,活动函数里面需要乘这个M

    inference的过程如下图,对DropConnect进行推理时,采用的是对每个输入(每个隐含层节点连接有多个输入)的权重进行高斯分布的采样。该高斯分布的均值与方差当然与前面的概率值p有关,满足的高斯分布为:

     

  • 相关阅读:
    css基础面试题
    hack-checkbox
    装饰性属性
    【CF809E】Surprise me!
    [SCOI2012]奇怪的游戏
    [HAOI2018]奇怪的背包
    CF1139D Steps to One
    [CTSC2018]假面
    写在省选前
    [SDOI2015]寻宝游戏
  • 原文地址:https://www.cnblogs.com/alexanderkun/p/3535276.html
Copyright © 2011-2022 走看看