zoukankan      html  css  js  c++  java
  • CNN 参数计算

    CNN 时间计算复杂度与空间复杂度

    即,连续个数与参数个数, 每一个连接都意味着一个计算, 每一个参数都意味一个存储单元。 只计算主要部分。

    CNN局部连接与权值共享

    如图所示:

    全连接:如左图所示,全连接情况下,输入图片为1000x1000像素的图片, 隐藏层为同样的1000x1000个神经元(即1M);每个神经元都与所有的输入像素相连接,总计10^12权值(即,可训练参数);

    局部连接:如右图所示,局部连接情况下,输入图片为1000x1000像素的图片, 隐藏层为同样的1000x1000个神经元,卷积核10x10;每个神经元都与输入像素上对应的10x10范围内相连接,总计1000x1000x10x10=10^8权值(即,可训练参数);

    权值共享:如右图所示,在局部连接的基础上, 每个神经元都与输入像素上对应的10x10范围内相连接,这个10x10的卷积核(即100个权值)在这层所有神经元间共享, 总计100权值(即,可训练参数);

    空间复杂度

    空间复杂度即模型的参数数量,体现为模型本身的体积。

    $ Space sim O(K^2 * Cin * Cout) $

    • 空间复杂度只与卷积核的尺寸K、通道数C相关。而与输入图片尺寸无关。
      即:卷积核为K^2个参数, 输入通道Cin是多通道时, 卷积核就自动broadcast成了K^2 * Cin; 当输出多个通道时,再乘以通道数 Cout

    计算时间复杂度

    时间复杂度即模型的运算次数。
    单个卷积层的时间复杂度:$ Time sim O(M^2 * K^2 * Cin * Cout) $

    注1:为了简化表达式中的变量个数,这里统一假设输入和卷积核的形状都是正方形。
    注2:严格来讲每层应该还包含1个Bias参数,这里为了简洁就省略了。

    M:输出特征图(Feature Map)的尺寸。
    K:卷积核(Kernel)的尺寸。
    Cin:输入通道数。
    Cout:输出通道数。
    输出特征图尺寸又由输入尺寸X、卷积核尺寸K、Padding、 Stride,dilation 这几个参数所决定。
  • 相关阅读:
    编译问题----宏定义一定显示未定义
    低级错误记录-程序更新后,没有显示想要的结果
    云编译的优点-普及云编译
    telecommunication communication 的区别
    学习EPC架构演进历史知识
    EOF与feof的区别
    epoll惊群问题-解决思路
    epoll多路复用机制的学习
    进程组与组长进程
    记录博客开始
  • 原文地址:https://www.cnblogs.com/freebird92/p/9237436.html
Copyright © 2011-2022 走看看