zoukankan      html  css  js  c++  java
  • 深度学习中参数量与计算量的理解

    接下来要分别概述以下内容:

      1 首先什么是参数量,什么是计算量

      2 如何计算 参数量,如何统计 计算量

      3 换算参数量,把他换算成我们常用的单位,比如:mb

      4 对于各个经典网络,论述他们是计算量大还是参数两,有什么好处

      5 计算量,参数量分别对显存,芯片提出什么要求,我们又是怎么权衡

    1 首先什么是计算量,什么是参数量

      计算量对应我们之前的时间复杂度,参数量对应于我们之前的空间复杂度,这么说就很明显了

    也就是计算量要看网络执行时间的长短,参数量要看占用显存的量

    2 如何计算 参数量,计算量

      (1)针对于卷积层的

      

        其中上面的公式是计算时间复杂度(计算量),而下面的公式是计算空间复杂度(参数量) 

        对于卷积层:

          参数量就是  (kernel*kernel) *channel_input*channel_output

            kernel*kernel 就是weight * weight

            其中kernel*kernel = 1个feature的参数量

          计算量就是  (kernel*kernel*map*map) *channel_input*channel_output

            kernel*kernel 就是weight*weight

            map*map是下个featuremap的大小,也就是上个weight*weight到底做了多少次运算

            其中kernel*kernel*map*map= 1个feature的计算量

       (2)针对于池化层:

          无参数

       (3)针对于全连接层:

            参数量=计算量=weight_in*weight_out

    3 对于换算计算量

      1一般一个参数是值一个float,也就是4个字节,

      21kb=1024字节

    4 对于各个经典网络:

      

      (1)换算

        以alexnet为例:

        参数量:6000万

        设每个参数都是float,也就是一个参数是4字节,

        总的字节数是24000万字节

        24000万字节= 24000万/1024/1024=228mb

      (2)为什么模型之间差距这么大

        这个关乎于模型的设计了,其中模型里面最费参数的就是全连接层,这个可以看alex和vgg,

        alex,vgg有很多fc(全连接层)

        resnet就一个fc

        inceptionv1(googlenet)也是就一个fc

      (3)计算量

        densenet其实这个模型不大,也就是参数量不大,因为就1个fc

        但是他的计算量确实很大,因为每一次都把上一个feature加进来,所以计算量真的很大

    5 计算量与参数量对于硬件要求

      计算量,参数量对于硬件的要求是不同的

      计算量的要求是在于芯片的floaps(指的是gpu的运算能力)

      参数量取决于显存大小

       

  • 相关阅读:
    洛谷 P5677 [GZOI2017]配对统计(树状数组)
    洛谷 P2471 [SCOI2007]降雨量(RQM)
    洛谷 P4588 [TJOI2018]数学计算(线段树)
    洛谷 P1198 [JSOI2008]最大数(线段树)
    扫描线 && 洛谷 P5490 【模板】扫描线(线段树)
    洛谷 P6033 [NOIP2004 提高组] 合并果子 加强版(桶排序,队列)
    目标检测------>>>>R2CNN_Faster-RCNN_Tensorflow项目环境得配置
    python实现aes-256-gcm加密和解密-自已动手写个加解密软件(二)
    虚拟机改密码方案
    316python 基础之计算机基础、Python简介、变量、注释、基础数据类型初识、if、while、语句
  • 原文地址:https://www.cnblogs.com/lllcccddd/p/10671879.html
Copyright © 2011-2022 走看看