zoukankan      html  css  js  c++  java
  • Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation

    • 目标:探索点之间的语义关系
    • 解决方法:通过编解码器,迭代的构建点云图。
    • 缺点:计算量太大了,每次迭代都要计算一次k近邻并建图。

    整个模型分为两个部分,编码器和解码器,其中编码器遵循PointNet++结构,对点云进行下采样。解码器部分不断对点云上采样、编码、融合。解码器有两个主要的模块:针对点的模块和针对边的模块,分别对点和边进行上采样和特征提取。具体结构图如下:
    avatar

    边分支

    边分支的作用为从上一层图中提取边特征,以获取更高维的语义信息。在这一过程中到了上一层的点坐标、边信息、点特征和边特征。
    具体来讲,边模块的结构图如下所示。模块首先根据L-1层的图进行了扩充,得到L层的图。然后再根据L-1层的边特征和L层的图结构得到L层的边特征。
    avatar
    针对一条具体的边(e_{i,j})来说,该边在L层的特征融合了点i、j和该边在L-1层的特征。具体的融合函数如下。先利用(f_{edge})函数将点特征(F_{i})和点(F_{j})进行融合,再通过(f_{ext}(MLP))进行特征提取,再拼接边(e_{i,j})在L-1层的特征,利用(f_{ext}(MLP))进行特征提取得到边(e_{i,j})在L层的特征。
    avatar
    其中(f_{edge})函数的具体形式为:
    avatar
    其中([cdot,cdot,cdot])表示对三个元素进行拼接。即拼接两点的坐标差以及两点特征。
    得到L层的边特征后,可以对L层的点特征进行更新,公式为:
    avatar

    图的构建

    在上文的结构图中可以看到,模型迭代构建图模型的基础是第0层图,0层图是图模型的初始化。构建过程分为两部,先根据最远点采样法对点云进行下采样,然后对图中每个点的k近邻划边,构成初始图模型。
    现在假设我们得到了L-1层的图,我们通过点的上采样得到了L层的初始图(G^{0}_{L})。针对点i,j,先求出其邻接点集合(N^{L-1}_{k}(p_{i}))(N^{L-1}_{k}(p_{j})),其中每个邻接点集都满足是L-1层点集子集的要求。若这两个邻接点集合在L-1层是有边的,则i、j在L层有边。
    avatar

    实验效果

    经过多次迭代构建的点云图,在多个数据集的点云分割任务上表现良好。
    avatar
    其中SPGraph是超点图。

  • 相关阅读:
    联想电脑关闭屏幕点亮屏幕(T480为例)
    安卓手机时钟APP推荐
    电脑手机端如何互传文件、图片、网址等
    仿写一个简陋的 IOC/AOP 框架 mini-spring
    类加载之 <clinit>() 和 <init>()
    深入理解Java类加载
    Java垃圾回收
    Java内存区域(运行时数据区域)和内存模型(JMM)
    Java 泛型学习总结
    一篇文章概括 Java Date Time 的使用
  • 原文地址:https://www.cnblogs.com/AnnaJuly/p/12387371.html
Copyright © 2011-2022 走看看