zoukankan      html  css  js  c++  java
  • 论文阅读笔记ECCV 2018: Factorizable net: an efficient subgraphbased framework for scene graph generation

    一、contribution

    提出了一种基于子图的场景图生成方法,该方法具有以下特点:

    (1)首先,提出了一种自底向上的聚类方法,将图像分解为子图。通过共享子图中的区域表示,我们的方法可以显著减少冗余计算并加快推理速度。此外,较少的表示允许我们使用二维特征图来维护子图区域的空间信息。

    (2)其次,提出了一种空间加权消息传递(SMP)结构,用于在对象特征向量和子图特征映射之间传递消息。

    (3)第三,提出了一个空间敏感关系推理(SRI)模块,该模块利用主语、宾语和子图表示的特征来识别对象之间的关系。视觉关系检测和视觉基因组的实验表明,我们的方法优于最先进的方法,推理速度显著加快。

    二、method

    步骤:

    (1)generate object region proposals with RPN(region proposal network)

    (2)group the object proposals into pairs and establish the fully-connected relations

    (3) cluster the  fully-connected  graph  into  several  subgraphs  and  share  the  subgroup  features for object pairs within the subgraph, then a factorized connection graph(映像连接图)is obtained by treating each subgraph as a node

    (4)ROI pools the objects and subgraph features and transforms them into feature vectors and 2D feature maps respectively

     (5)  jointly  refine  the  object  and  subgraph  featuresby passing message along the subgraph-based connection graph for better rep-resentations

    (6) recognize the object categories with object features and theirrelations (predicates) by fusing the subgraph features and object feature pairs

  • 相关阅读:
    Linux文件误删除恢复操作【转】
    segment fault异常及常见定位手段【转】
    Linux AUFS 文件系统【转】
    Linux MTD系统剖析【转】
    Linux UBI子系统设计初探【转】
    python笔记54-re正则匹配替换字符串(sub和subn)
    python笔记53-Leetcode面试题:请实现一个函数,把字符串 s 中的每个空格替换成"%20"
    咏南中间件支持客户端控制数据库事务
    mormot2 tbsonwriter
    firedac获取自增长字段值
  • 原文地址:https://www.cnblogs.com/h694879357/p/15498033.html
Copyright © 2011-2022 走看看