[发明专利]一种室外大场景下点云的语义分割方法

说明书

本发明提出一种室外大场景下点云的语义分割方法，属于3D点云图像处理领域。本发明的语义分割网络，采用编码器‑解码器方式处理大场景下语义分割任务，能够一次性处理所有点云，首先在共享的全连接层提取输入点特征后，通过带有降采样的编码器学习对输入点云进行特征聚合，而后利用解码器将抽象后的特征进行特征恢复和上采样，再通过一层共享的全连接层，得到每个点云的分割结果。本发明可以广泛应用于各种大场景下的点云图像语义分割任务，方法简单，分割效果好，有很高的应用价值。

技术领域

本发明涉及3D点云图像处理领域，特别提出一种室外大场景下点云的语义分割方法。

背景技术

在现实中，点云的语义分割具有非常丰富的意义，尤其是随着人工智能的异军突起，实时智能系统亟需语义的解释。在无人车驾驶等户外大场景下的应用中，图像信息更多是由激光雷达扫描而来，通过对于采集到的信息进行分割等整合操作，可以使得车辆快速的适应当前的道路，对周围环境及突发状况进行实时的感知，帮助机器更好地服务人类。在信息爆炸的时代中，高效率表达信息的3D点云逐渐变成了成熟的数据传递形式，激光雷达等三维扫描设备收集到的点云显式编码了来自传感器的所有信息，没有像体素表达一样在量化上损失，这对于场景的端到端高效学习是有优势的。由此可见，大场景下点云的语义分割拥有丰富的研究价值。

基于点云图像的语义分割研究在近两年成为主流，以编码器-解码器为主要架构的思路依然是语义分割的基本范式。一般性的的语义分割结构由一个编码器网络和一个解码器网络组成：编码器一般是预先训练好的一个分类网络，解码器的目标则是将编码器逐步学习到的低分辨率语义特征，一步步扩展到高分辨率的像素空间中，最后得到一个密集预测。密集预测需要知道每个点的信息，因此在此基础上又有了新的改进思路，一种是在编码器-解码器之间加入直接的信息连接，可以帮助上采样的过程中尽量恢复特征细节，为了尽量保留局域特征，将收缩路径的高分辨率特征与上采样的对应输出结合到一起，允许将上下文信息传播到更高的层；另一种思路是加入扩张卷积的结构，去除基本的池化操作，在标准卷积核中加入空洞，不牺牲特征图尺寸及空间维度的前提下增加了模型的感受野。

虽然基于卷积的深度学习在处理图像等应用中已经比较成熟，但这种方法不能直接应用在点集上，主要有以下三点困难：

A)不同于像素，点集具有无序性，且点之间的距离信息是无法被显示利用的，应用深度学习时，局域上下文的的信息(包括几何特征)都无法被捕捉。一种尝试将三维点云转换为二维的格式进行后续操作，但是很明显损失了大量的细节，有时不得不进行表面重建，南辕北辙；将点云转化为3D网格形式的思路，体素化的表达效率很低，使得数据变得不必要的庞大，冗杂而繁琐。

B)点云采集具有不规则性，即3D扫描出来的点有明显的密度不均匀和噪声等特点。而在Pointnet++中采用的分层思路，每一层都递归的采用最远距离法进行采样，这在大规模点云中是非常耗时的，不可能做到实时分割。

C)研究点云分割的几种深度学习方法几乎都无法适用于大规模点云，原因在于这些方法依赖于计算量很大的采样技术和复杂的预处理步骤，且不考虑开销巨大的专用神经模块，单是一次性给百万个点进行采样都已经远远超过预算的时间，这和我们的初衷相悖。

分层循环的采样、分组、特征提取是不可行的，这在计算效率上是低下的，而且层数限制的分组和分云块的预处理方法都在根本上限制了感受野的扩增，这种特征学习天然的导致无法捕捉复杂宏观结构。另外采样实验也提示我们，分割效率的提升不应从复杂化采样手段入手，反而应该尽可能减少采样的时间代价，在特征学习模块进行设计，逐步提高感受野。

因此我们需要考虑新的采样法及特征提取思路，其必须是轻量级的，能够单次处理百万点的同时有更快的速度；同时也要是精细的，可以有效学习局部特征及保留局部几何结构，最终有可接受的分割准确性。

发明内容