zoukankan      html  css  js  c++  java
  • NgDL:第四周深层神经网络

    4.3核对矩阵维数

    根据前向的矩阵,可以计算出右上的规律,对于第L层的w来说,其维数为(n[L],n[L-1]),n[L]表示第L层的单元数。

    4.4为什么深层神经网络会好用?

    如果要做一个人脸识别的系统:那么浅层的神经网络,进行特征识别或边缘探测,第一张图中的一个小方块就是一个神经单元?无法理解。比如说有个神经单元去找眼睛的部分,这样每个神经元就可以找脸部不同的部位,最后将这些部分放在一起。

    边缘探测中针对的都是比较小的,而到面部识别会针对较大的区域。金字塔形状的NN。

    Ng讲到了在语音识别上的一个应用:

    输入是一段音频,第一层神经网络可以探测比较低层次的音频波形特征,比如音调变高还是变低,然后可以去探测声音的基本单元(音位),cat中的“壳”就是一个音位,然后就可以识别单词,单词组合起来就是词组。

    到网络深层时就可以做更复杂的事情,比如检测脸部或者词组。

    对于电路和深度学习的结合的例子说明为什么深度网络效果好。

    假设要对输入特征计算异或,从x1 XOR....xn,如果画一个异或的树图,可建一个较深的异或树图,隐层数为log(n),就是一个二叉树的高度;

    如果不允许使用多层神经网络的话,只能使用一个隐层,那就需要考虑所有可能的组合,需要隐层单元数程指数式增长;(需要考虑所有的可能的结合情况?)

    4.7参数VS超参数

    参数:就是比如NN模型中的权重和偏执单元值。

    超参数:就是能控制参数的参数。比如学习率α,迭代次数,隐含层层数、隐含层中的单元数、激活函数的选择

    还有一些其他的超参数:momentum,minibatch size,正则化规则等。

     //头一次知道超参数的定义,原来是这样,不过另外的超参数还不太明白。

    这种公式表述的我还看不太懂,保留一下:

  • 相关阅读:
    老年人微信教程手绘版|微信入门教程1
    微信网页版朋友圈在哪?怎么找不到
    如何用<dl>标签做表格而不用table标签
    600万个!520元的微信红包发了这么多!
    微信红包最高能发520元啦!只限今天!
    微信和WeChat的合并月活跃账户数达到7.62亿了
    excel隔行选中内容如何操作
    各大公司广泛使用的在线学习算法FTRL详解
    在线最优化求解(Online Optimization)之五:FTRL
    在线最优化求解(Online Optimization)之四:RDA
  • 原文地址:https://www.cnblogs.com/BlueBlueSea/p/10439419.html
Copyright © 2011-2022 走看看