作者： 三弟
首发：3D视觉工坊微信公众号
原始点云数据不可避免地从3D传感器或在重建算法中包含异常值。本文提出了一种用于鲁棒点云处理的新型端到端网络，称为 PointASNL，可以有效地处理带噪声的点云。我们方法中的关键部分是自适应采样（AS）模块。它首先从最远点采样点的周围对点的邻域加权，然后在整个点云中自适应的调整采样。AS模块不仅有益于点云的特征学习，而且缓解受异常值的影响。为了进一步捕捉邻域信息和长期依赖于采样点，我们从非局部操作的角度出发，提出了局部-非局部 (local-Nonlocal, L-NL) 模块。这种L-NL模块使学习过程对噪声不敏感。大量的实验证明了在分类和语义分割任务上，在合成数据，室内、室外数据，是否有噪声的数据，都有良好性能和鲁棒性。并且在有大量噪声的真实户外数据集SemanticKITTI上，明显优于以前的方法。代码发布在：https://github.com/yanx27/Poi...。
本文的主要贡献：1） 提出了端到端鲁棒点云处理的模型 PointASNL，可以有效缓解异常值或噪声的影响；2）提出自适应采样（AS）模块，PointASNL可以自适应调整初始采样点的坐标，特征更能学习到内蕴几何 (intrinsic geometry) 信息，对异常值更鲁棒；3）进一步在点非局部单元提出了 局部-非局部（LNL）模块中，从而增强了点在局部单元的特征学习。大量实验证明在分类和语义分割任务了我们方法的稳健性。
模型框架
作者提出了一个新颖的端到端网络健壮的点云处理，名为 PointASNL，其中可以有效地处理带有噪声或异常值的点云。PointASNL 主要包括两个通用模块：自适应采样（AS）模块和localNonlocal（L-NL）模块。AS模块用于调整采样点的坐标和特征，而L-NL模块用于捕获采样点的邻居和远程依赖关系。
对于室内3D场景分割，作者用3D大型室内空间 S3DIS 和ScanNet v2 数据集评估模型。S3DIS 数据集是从3座不同的建筑物中采样的， 其中包括6个拥有271个房间的大型室内区域。此数据集中的每个点都有一个语义标签，标签共有13个类别，作者比较每类平均IoU （mIoU）。ScanNet 数据集包含1513 个扫描室内点云进行训练和100个进行测试。标签共有21个类别。表2中展示了在相同的训练和测试下，PointASNL与其他最新方法比较的结果。PointASNL胜过所有方法。尤其是 PointASNL 的结果比 ScanNet 上最新的 PointConv 高8％。虽然 PointConv 的卷积设计与点局部PL单元很像，但是没有合适的采样和全局信息，相同的网络结构很难达到这样的结果。
图6展示了模型即使在复杂的情况下也可以正确分割对象场景。
户外场景分割。与室内相比相应的，室外点云覆盖的区域更广，具有相对稀疏的点分布和噪声。因此从室外场景更具挑战性。作者在SemanticKITTI 上评估了模型。表3展示了 PointASNL 与其他最新方法的比较。Point ASNL 在很大程度上优于其他方法。，在19个类别中的13个类别中排名最佳。此外，图7展示了两个样本的可视化，即使数据中有大量噪声，模型仍然可以完美预测。
此外
本文仅做学术分享，如有侵权，请联系删文。
推荐阅读
重点介绍：1、3D视觉算法；2、vslam算法;3、图像处理；4、深度学习;5、自动驾驶;6、技术干货。博主及合伙人分别来国内自知名大厂、海康研究院，深研3D视觉、深度学习、图像处理、自动驾驶、目标检测、VSLAM算法等领域。
欢迎关注微信公众号
