[发明专利]一种点云补全方法、系统及应用

说明书

本发明属于计算机视觉技术领域，公开了一种点云补全方法、系统及应用，所述点云补全方法包括：先构建输入点云先验信息提取单元；再构建中间点云先验信息提取单元；再构建点云精化单元；接着判断输出点云点数是否满足要求，不满足则再次构建点云精化单元直至满足要求；再生成训练集来训练点云补全模型；最后利用训练完成的模型对残缺点云进行补全。本发明提供的点云补全方法，通过充分利用残缺输入点云以及一般点云补全网络的输出点云提供的物体形状先验信息，通过级联的精化单元对先验信息进行整合处理，使网络可以更好地保留原始输入点云中的细节信息，从而更好地推断物体点云残缺的形状，进而达到更优的补全效果。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种点云补全方法、系统及应用。

背景技术

目前，三维视觉在学术界及商业界备受关注，三维点云成为一种在计算视觉、机器人领域被广泛应用的基础数据形式，在客观事物的描述上拥有比二维图像更高一维信息量的独特优势。然而，由于物体遮挡及自身遮挡等原因，由激光雷达采集的现实世界的三维数据通常都是残缺、不完整且分布不均匀。这些数据丢失了重要的几何和语义信息，因为它实际上畸化了原始物体形状的尺寸，改变了物体的体积，破坏了物体的表面结构。这样不完整的点云数据将极大地影像到其自身的潜在价值。因此，能够从深度相机或激光雷达扫描获取的不完整的点云中推断出物体完整结构的点云补全方法将会对点云数据的应用产生深远的影响。

一般来说，点云补全的方法可以大致分为基于几何、基于检索、基于学习的方法。(1)基于几何的补全方法非常依赖物体的几何信息，例如局部信息的连续性以及空间分布的平滑性。目前基于该方法的一些工作已成功应用于输入点云在缺少一些小洞或小孔情况下的表面修复中。除此之外，一些研究工作关注于自然物体本身的对称性，将残缺的输入相对于求解出的对称轴作对称变换得到的对称点云作为先验信息来重建目标的缺失部分。然而，对于较大区域的缺失点，它是无法补全的。(2)基于对齐的补全思想是将点云补全的问题转化为若干个检索任务，即通过从预准备的三维形状数据库中检索最相似的模板来间接达到补全的目的。(3)基于学习的补全方法是借助人工神经网络来训练具有形状补全功能的深度网络模型。在不同三维模型表现形式下，例如：体素格网、点云和三维网格，基于学习的领先方法都展现了卓越的补全表现。在早期的研究中，研究学者们倾向于选择使用体素格网的方式来表示三维物体，因为通过体素化的方式可以方便应用三维卷积的操作来处理这些离散点阵化的数据。相较于三维网格、体素格网等表示结构，三维点云是一种易于处理简单的结构。除此之外，在点云中添加新点和插值会非常简单，由于点云中所有点均是互相独立，故无需再更新点之间的连接信息。基于学习的补全方法随着最近几年大规模三维合成CAD模型数据集的出现取得了卓有成效的发展。

以上的方法中，基于几何的补全方法虽然简单高效，但是它们要求输入点云几乎完整或对称性明显，当物体缺失区域较大或形状复杂无对称性时，这些方法将束手无策；基于对齐的补全方法在某种程度上是有效可行的，但是同时也会遇到一些瓶颈。一方面，检索过程需要大量的运算开销，这使得这种方法很难移植与实时处理平台；另一方面，输入点云噪声度的大小将会很大程度上影响最后补全结果；基于学习的补全方法在形状补全任务上的表现令人印象深刻，同时也将三维形状补全工作的效果提升到一个新的高度上。然而，它们依然还不能同时生成均匀分布且具有细粒度细节的补全点云。

针对以上问题，目前需要一种新的方法，既能保留残缺输入点云中的细节信息，又能补全物体的缺失部位，并生成分布均匀的补全点云。

通过上述分析，现有技术存在的问题及缺陷为：

(1)基于几何的点云补全方法，对于较大区域的缺失点，是无法补全的；当物体缺失区域较大或形状复杂无对称性时，该方法将束手无策。

(2)基于对齐的补全方法，检索过程需要大量的运算开销，这使得这种方法很难移植与实时处理平台。

(3)基于对齐的补全方法，输入点云噪声度的大小将会很大程度上影响最后补全结果。