zoukankan      html  css  js  c++  java
  • NgDL:第四周深层神经网络

    4.3核对矩阵维数

    根据前向的矩阵,可以计算出右上的规律,对于第L层的w来说,其维数为(n[L],n[L-1]),n[L]表示第L层的单元数。

    4.4为什么深层神经网络会好用?

    如果要做一个人脸识别的系统:那么浅层的神经网络,进行特征识别或边缘探测,第一张图中的一个小方块就是一个神经单元?无法理解。比如说有个神经单元去找眼睛的部分,这样每个神经元就可以找脸部不同的部位,最后将这些部分放在一起。

    边缘探测中针对的都是比较小的,而到面部识别会针对较大的区域。金字塔形状的NN。

    Ng讲到了在语音识别上的一个应用:

    输入是一段音频,第一层神经网络可以探测比较低层次的音频波形特征,比如音调变高还是变低,然后可以去探测声音的基本单元(音位),cat中的“壳”就是一个音位,然后就可以识别单词,单词组合起来就是词组。

    到网络深层时就可以做更复杂的事情,比如检测脸部或者词组。

    对于电路和深度学习的结合的例子说明为什么深度网络效果好。

    假设要对输入特征计算异或,从x1 XOR....xn,如果画一个异或的树图,可建一个较深的异或树图,隐层数为log(n),就是一个二叉树的高度;

    如果不允许使用多层神经网络的话,只能使用一个隐层,那就需要考虑所有可能的组合,需要隐层单元数程指数式增长;(需要考虑所有的可能的结合情况?)

    4.7参数VS超参数

    参数:就是比如NN模型中的权重和偏执单元值。

    超参数:就是能控制参数的参数。比如学习率α,迭代次数,隐含层层数、隐含层中的单元数、激活函数的选择

    还有一些其他的超参数:momentum,minibatch size,正则化规则等。

     //头一次知道超参数的定义,原来是这样,不过另外的超参数还不太明白。

    这种公式表述的我还看不太懂,保留一下:

  • 相关阅读:
    Feign客户端的重构,新建springcloud架构
    Feign客户端实现RPC 调用
    Ribbon负载均衡实现
    负载均衡器nginx和ribbon区别
    eureka和zookeeper注册中心的区别
    SpringCloud服务的注册发现--------consul实现服务与发现
    Consul+upsync+Nginx 动态负载均衡
    Java并发编程笔记之ConcurrentLinkedQueue源码探究
    Java并发编程笔记之StampedLock锁源码探究
    Java并发编程笔记之读写锁 ReentrantReadWriteLock 源码分析
  • 原文地址:https://www.cnblogs.com/BlueBlueSea/p/10439419.html
Copyright © 2011-2022 走看看