3D Semantic Parsing of LargeScale Indoor Spaces笔记

• 随便记录，并未完全理解；内容大部分为机翻。

• 来自：http://buildingparser.stanford.edu/method.html

• 图片在Github上，如果无法显示需要FQ

简介

随着扫描大规模空间的成熟技术的出现，三维传感已经取得了重大进展；可以可靠地形成成千上万平方米的三维点云。现有的理解语义的方法不适合这种规模和类型的数据。这就需要能够处理这种规模的语义分析方法，理想情况下，需要能够利用这种规模点云的独特特征(如复杂性、更丰富的几何信息等)。

我们提出了一种方法解析整个建筑物的点云的方法(见图1) : 第一步将点云解析为语义上有意义的空间(例如，房间、走廊、大厅等，也就是一个个独立的小空间) 。第二步分析每个空间的结构和建筑元素(如墙壁、柱子等)。下面是对我们的方法的简短描述。详情请参阅我们的论文和补充材料。

输入数据（input data）

我们方法的输入是一个大型室内空间的原始彩色点云(例如多个楼层、整个/部分楼层等)。为此，我们收集了几栋建筑的新数据集，覆盖面积超过6,000平方米，超过2.15亿点。

分解成不相交的空间

我们首先将点云解析为封闭空间(即边界部分或全部由建筑元素定义的空间)。查找空间布局的常用方法使用曲面或线拟合算法(如RANSAC或Hough变换)识别墙面。然而，这些方法需要微调参数，并且容易受到杂波、噪声和异常值的影响。我们利用点云中墙壁的表示和反复出现的几何图案来识别空间分隔线。受投射到扫描区域主轴上的点密度的一维直方图中墙的峰-隙-峰特征的激励，我们形成了一组滤波器，当与这些信号卷积时，可以在墙的位置触发。我们将每个轴的点密度直方图与我们的滤波器组进行卷积，从而得到候选的空间分割线。识别空间分隔线的流程如图2所示。【简述：沿墙壁切割】

找到的分割器沿检测轴方向将点云分解为切片。然后，我们对每个切片上的第二个和第三个轴执行相同的过程，以完全划分点云。由于我们独立处理每个轴，任何分隔线都在其原始方向上拉长，导致网格过度分割(参见图3(B))。这是因为我们以一维的方式检测分隔线(即一次考虑一个轴)。减少到1维使我们能够缩放到大型点云(相对于覆盖区域呈线性)，但它不能算作分隔线可能不会延伸到整个建筑，从而导致过度分割的事实。为了有效地恢复正确的分段，我们执行了一系列合并操作。

获取公共几何空间

将大规模点云解析为不相交的语义空间，为语义元素的解析提供了较强的几何先验。这主要是因为同一建筑内的空间具有重复的结构和布局配置。通过为所有房间创建一个共同的几何空间，可以很容易地利用这种结构。具体地说，我们将所有空间对齐并缩放到单位立方体(标准化)中，以便为每个语义空间(例如房间、走廊等)关联一个本地参考系统【构建方法见论文3.2】。

目的：将前面切割得到的空间进行对齐。

将空间分解为语义元素

采用滑动窗口法来检测空间内的语义元素。

动图：

为何时检测而不是语义分割：

原文：

Existing segmentation paradigms start with the assumption that each point must belong to a single segment/class. How-
ever, the problem of building element parsing better fits a detection approach. Clutter can occlude parts of important
elements, e.g. a white board can occlude a wall. To a segmentation technique, this wall would be an irregular entity
with a hole on it, while detecting the wall as a whole provides a better structural understanding of it.

实验

No Local Geom 、No Global Geom、No Color :

实验结果提供了三个不同的粒度: as detection boxes (h), voxelized detection boxes (g) and points (i)。我们的算法输出体素化检测框(第4节) ，并通过计算最紧的包围盒和点归属来找到其他的检测框。

定量分析结果：

实验结果分析：

可以看出全局几何的相对重要性，这与我们通过解析到空间来理解建筑物的语义几何的动机是一致的。外观特征的帮助最小，这是意料之中的，因为由于不同建筑之间的类内差异，很难推广。同样，我们的方法在结构元素上的性能很高，但是在家具上的性能是有限的(参见表3)。我们将其归因于不同建筑之间的结构元素的泛化，这一点在家具上并不适用。此外，与家具相比，结构元素显示出更强的空间规律性(由我们的全局特征捕捉)。

个人理解

第一步：

将整个大点云切割成各个独立的小空间，然后对每个小空间进行对齐缩放到一个单位立方体中。【为第二步提供了3D prior知识，原因：This is mostly because spaces have recurrent structure and layout configuration】

第二步：

进行物体检测。检测框架遵循3D滑动窗口方法；为每个类别滑动一组候选窗口(3D方框)，并对窗口中是否存在感兴趣类别的对象进行分类。这些分类器、窗口大小及其形状都是学习的。【将这个框进行划分为K×K×K的体素，为每个sub-window设置一个变量\(B_i\)，如果被检测的物体在sub-window i内则\(B_i=1，否则为0\)】