三维点云去噪无监督学习：ICCV2019论文分析
Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning
论文链接：
摘要
结果表明，三维点云的去噪可以在无监督的情况下直接从含噪的三维点云数据中学习。这是通过将最近从无监督图像去噪器的学习扩展到非结构化三维点云来实现的。无监督图像去噪器在噪声像素观测是围绕干净像素值的分布的随机实现的假设下工作，这使得对该分布的适当学习最终收敛到正确的值。遗憾的是，这种假设对非结构点无效：三维点云受到总噪声的影响，即所有坐标的偏差，没有可靠的像素网格。因此，一个观测可以实现一个完整的多个干净的三维点，这使得将无监督图像去噪器天真地扩展到三维点云不切实际。克服这一点，我们引入了一个空间先验项，它引导收敛到流形上许多可能模式中唯一的最近模式。我们的结果表明，当给出足够多的训练实例时，无监督去噪的性能与有监督学习在干净数据下的性能相似，其中我们不需要任何噪声和干净的训练数据对。
1. Introduction
虽然干净的三维几何图形数量受到人工三维CAD建模的限制，但三维点云的数量每天都在快速增长：我们城市的街道、日常建筑的内部，甚至我们消费的商品都会定期进行三维扫描。遗憾的是，这些数据被扫描器噪声破坏，因此无法被需要对噪声和干净数据的监督学习访问。因此，期望能够仅使用噪声数据本身来去除所获得的噪声3D点云。
最近两个必要的发展表明这可能是可能的：对3D点云的深入学习[19]和图像的无监督去噪[17，15，2]。不幸的是，这两种方法不能天真地结合在一起。为了学习我们的无监督三维点云去噪器（图1），我们需要克服两个主要限制：对同一物体进行两次噪声扫描的实际障碍和三维点云中噪声是全部的理论困难。我们将噪声称为“总噪声”（图2），当域是干净的（如像素位置一样）时，失真不受范围（像素值）的限制，但对于域和范围都受噪声影响的更具挑战性的设置。它的名字类似于total least squares[9]，total least squares处理域和范围内的同时噪声，但用于线性、非深层设置。
本文的评估结果表明，对于不同类型的模拟噪声以及真实点云，我们的无监督方法仍然优于足够多的有监督方法，在某些情况下，甚至在给定相同数量的训练数据时，它在大点云上的单次传递中运行效率很低。
2. Related Work
图像去噪
图像去噪是图像处理中最基本的操作之一。最原始的变体是基于线性滤波器，如高斯滤波器，最终有额外的锐化[13]。虽然实际中经常使用非线性滤波器，如中值滤波器、双边滤波器[24]或非局部滤波器[3]，但通过优化稀疏性[6]可获得最新的结果。最近，学习去噪变得很流行，当一对干净的和有噪声的图像可用时[4]。Lehtinen等人[17] 提出了一种只对两幅噪声图像进行去噪学习的方法，而不需要对噪声图像进行去噪学习。更进一步说，Noise2Void[15]和Noise2Self[2]是两个扩展，这两个扩展消除了一个图像的两个副本被噪声破坏的要求，而是在一个图像上工作。在这两种情况下，这都是通过从图像本身进行回归来实现的。这是通过创建一个带有“盲点”的接受域来完成的，并且网络从其上下文中还原盲点。我们将在第3节详述这些论文背后的理论。
三维点云去噪
三维点云捕捉了精细的空间细节，但由于其不规则的结构，其处理难度远大于图像[18]。至于图像，线性滤波器可以应用于去除噪声[16]，但要牺牲细节。作为补救措施，图像算子，如双边[8，5]、非局部平均值[21]或稀疏编码[1]被转移到点云。随着PointNet的出现[19]，基于深度学习的点云处理变得容易处理。提出了四种值得注意的三维点云深度去噪方法。第一种是PointProNet，它通过将点投影到一个已知的局部框架中，并在有监督的设置中使用卷积神经网络（美国有线电视新闻网）将点移回曲面，从而去除点块的噪声[22]。然而，该方法的精度是由局部帧估计的精度决定的，这会导致在极端锐利的边缘出现伪影。Rakotosaona等人的第二种方法。[20] 使用PCPNet[11]（PointNet[19]的变体）将有噪声的点云映射到干净的点云。第三，Yu等人[30]学会保存支配人造物体的边缘。最后，Yifan等人[29]通过放大，从噪声点确定干净的表面。所有这些深度去噪方法都是有监督的，因为它们需要一对干净且有噪声的点云，而这些点云实际上是通过在合成点云中添加噪声而产生的。我们的方法不需要这样的配对。
噪音与学习
噪声是用于去噪自动编码器的增强策略[25]。但这些都是不是为了去噪，而是加入噪声来提高鲁棒性。也就是说它们的目标不是噪声，而是噪声在输入或加入到内部的状态。
3. Denoising Theory
基于规则域（即图像）中的去噪，无论是否有监督，我们将建立一个形式主义，该形式主义随后也可用于推导我们的非结构化三维情况。
3.1. Regular Domains
正则域像素噪声。如图3，a）所示。黑色曲线是真实信号，像素（虚线）在采样位置p(z|xi)（黄色曲线）周围的真值（粉红色圆）上采样。
Supervised
Unsupervised, paired
Unsupervised, unpaired
Discussion
上述三种方法都是在以下假设下工作的：在结构化像素网格中，范围（图2中的垂直轴，左和图3中的垂直轴，a）轴i和域z（水平轴）具有不同的语义。噪声仅在范围内：不确定像素的位置，不确定像素的真实值。
3.2. Unstructured Domains
Point noise
对于像素，我们将干净点表示为x，噪声点表示为y，噪声模型表示为p。我们推导的所有点可以是具有XYZ坐标的位置点，也可以是具有外观的位置点，表示为XYZRGB点。据我们所知，彩色点云的深度去噪还没有提出。我们不仅将展示我们的技术如何应用于此类数据，而且还将展示在训练点云去噪器的无监督学习时，颜色如何能够实质性地帮助克服挑战。令人惊讶的是，这种好处可以在训练中利用，即使在测试时没有颜色。如果可以的话，会有帮助的，我们也可以联合去噪的位置和外观。
Supervised
4. Unsupervised 3D Point Cloud Denoising
4.1. Inapplicability of ‘Paired’ Approaches
为了在有人监督的环境下解决这个问题，Rakotosaona等人 [20] 通过为每个噪声观测选择干净点云中最近的点作为损失目标，模拟了这种配对。然而，这只是真实曲面的近似值，其精度取决于干净数据的采样质量。幸运的是，我们可以证明不需要配对假设，这样我们的方法不仅在无监督的情况下运行，而且在无配对的情况下运行，我们将在下面详细介绍。
4.2. Unpaired
不同于观察图像中的I索引（虚线图3，a），它告诉我们Y是隐藏值席的推断，当在未成对设置中观察点时，未知的隐藏表面点是未知的。因此，分布p（z | S）具有多种模式（图3，b中的粉红色线）。学习从噪声实现到自身的映射将尝试收敛到这种多模态分布，因为对于同一个邻域，网络将尝试同时从这种分布中回归不同的点。
4.3. Manifold of Modes vs. Clean Surface
关于第一个问题，模式的流形接近表面，但不完全相同。图4，a）将清洁表面显示为黑线，具有少量噪声，其中大多数样品接近清洁表面。在这种情况下，学习收敛到一个解，这个解与它应该收敛到的解相同，就像在粉色线上训练时一样，粉色线与干净的曲面非常相似。然而，随着噪声的增加，在图4中可以看到，b）该流形与表面不同。
4.4. Unique Modes
图3，c）中显示了这种先验效应。在许多模式中，唯一最接近的模式仍然存在。注意，我们对高斯先验q的选择与噪声模型p的高斯性无关，我们不假设这一点。这里唯一的假设是，在许多解释中，最接近的一个是正确的。我们对其他核函数进行了实验，如Wendland[27]和逆多二次核函数，但没有观察到任何改进。
4.5. Appearance to the rescue
如上所述，带有RGB颜色标注的3D点云是进一步克服无监督训练局限性的一个令人惊讶的机会。否则，在某些情况下，空间先验无法解析圆边。这并不是因为网络f无法解决这些问题，而是因为无监督的培训无法“看到”尖锐的细节。图5详细说明了颜色是如何解决这个问题的：没有RGB，角在图5，a）中是圆形的。当添加颜色时，这里是红色和蓝色（图5。b） ，点分离（图5，c）。在红点上对先前q（z | y）的采样永远不会选择蓝点，反之亦然。因此，学习的行为就好像它看到了尖锐的细节。
4.6. Converging to the mode
4.7. Implementation
优先
为了使等式3最小化，我们需要根据使用拒绝实现的先前q来提取样本。 建筑
我们使用基于蒙特卡罗卷积的非结构化编码器-解码器来实现f（图6）。这种架构使用点云，将空间邻域转换为定义在较粗点集（编码器）上的潜在代码，并将这些代码向上采样到原始点分辨率（解码器）。有效接收场，即考虑神经网络回归点的邻域，是模型直径的30%。特别是，我们执行两个级别的编码，第一个接收字段为5%，第二个为10%。1级和2级池的泊松盘半径是接收区的一半。
训练
除了这些好处之外，我们的方法也很容易实现，如Alg1所示。
这里，Q表示点云中所有点的一组先验样本Q。所有操作都定义在具有点云大小的批上。我们使用ADAM优化器[14]，初始学习率为0.005，在训练期间会降低。
5. Evaluation
现在，我们将研究有监督的方法如何与干净点云的数量成比例，以及我们的方法与有噪声点云的数量成比例。结果见表2不同的方法是列，不同数量的训练数据是行。右边的图以图形的形式显示关系。我们用点表示各个测量值的对数，所有图的颜色编码都是相同的。测量了两种方法的差异。总训练点数在0.5到2.2亿之间。
表4显示了不同方法对这类噪声的误差。我们看到，在这种情况下，我们的完整方法（橙色）比任何其他无监督方法（如平均值或双边（紫色和蓝色））表现更好。在相同的训练数据输入量（1200万点）下，有监督的方法可以比其他方法更好地处理这种噪声。最后，我们还发现没有建议的先验值（青色和绿色）的烧蚀有更高的误差，这表明先验值也与这类噪声同样相关。
我们在图7中看到，我们的方法如何消除噪声，并产生一个干净的点云而不收缩，均匀采样以及细节。我们不能把错误形象化，因为根本的真相是未知的。相反，我们通过将点云表示为带有阴影的球体网格来提供点云渲染。
当不使用先验空间（绿色）时，去噪器学习不同类型的噪声（表1） ，噪音大小（表23） 以及训练数据量（表2） 一直比高斯或双边差，也不比高斯或双边好多少。这表明这是必要的。
在任务型语言的上述三个变化轴上，一致地使用外观可以改善结果。表1（表4） ，待定。表2和表3，要么把质量看得过重，要么就很接近。
图8示出了要去噪的两种不同颜色的锐边。包括颜色，稍微减少误差（黄色误差越小，蓝色误差越大）。
6. Conclusions
我们提出了一种无监督学习方法来去除三维点云的噪声，而不需要获取干净的例子，甚至不需要噪声对。这使得该方法可以用自然数据进行缩放，而不是用合成噪声装饰干净的CAD模型。我们的成就是由一个网络实现的，该网络将点云映射到自身，并结合空间局部性和之前的双边外观。在前面使用外观是可选的，但是可以提高结果，甚至不需要输入网络，无论是在测试时还是在训练时。以颜色为输入的去噪，以及颜色和位置的联合去噪，仍然是未来的工作。结果表明，即使在训练样本数相同的情况下，我们也可以优于有监督的方法。