zoukankan      html  css  js  c++  java
  • 《YOLOV4&5原理与源代码解析之六:注意力机制SAM》

         注意力机制CV领域是从NLP领域借鉴过来的,比如:一段话中提取关键的、具备代表性的词语。这个其实在以前聚类算法中学习过,例如:利用bag of word技术,提取一篇论文的关键词,实现论文查重功能。

    一、CBAM

           如下图的Channel Attention Module,将一个32×32×256维度的特征图,在channel维度上,给出256个权重,所谓注意力就是重点考虑权重大特征图。类似于softmax,这里输出一个维度为256权重向量。然后将权重向量各自与Input Feature每张图相乘,得到新的特征图。 在后续Spatial Attention Module中,在32×32这两个维度,计算类似于上述的权重矩阵(32×32),同理,将256个权重矩阵依次与新的特征图相乘,得到最终新的特征图,即:优化后的特征图。

      二、SAM

           YOLOV4中并没有使用CBAM,而是SAM,SAM仅仅考虑在空间(Spatial)维度上进行特征图优化。 如下图(a)原始SAM,先是最大池化、平均池化,后续接着卷积,YOLOV4直接将这两步骤合并,可以降低计算量,如图(b)。

    CV&DL
  • 相关阅读:
    Python统计词频的几种方式
    GO语言系列之 基本数据类型和操作符
    GO语言系列之 初识go语言
    Python实现聚类算法AP
    最大似然估计
    Breastcancer社区评论下载
    数据可视化之pyecharts
    Requests库
    nginx内置变量
    Tomcat内部结构、工作原理、工作模式和运行模式
  • 原文地址:https://www.cnblogs.com/winslam/p/14453119.html
Copyright © 2011-2022 走看看