[发明专利]在点云中回填点

说明书

一种用于增加点云（132）中的点的装置、系统和方法。在其中一个示例性实施例中，接收场景（110）的二维图像（121）和该场景（110）的点云（132）。将点云（132）中的至少一部分点映射到二维图像（121）以形成变换点（146）。使用二维图像（121）和变换点建立融合数据阵列（150）。使用该融合数据阵列（150）为点云（132）确定新点（164）。将新点（164）加到点云（132）中以形成新的点云（162）。

技术领域

本发明通常涉及点云，具体地，涉及增加点云的分辨率。更具体地，本发明涉及用于增加点云中点的数量从而增加点云的分辨率的系统和方法。

背景技术

点云是描述三维场景的三维（3D）坐标系中点的集合。通常，点云中的点表示对象的外表面。光探测和测距（light detection and ranging，LIDAR）系统是能够产生点云的一种类型的传感器系统的一个实例。还可以使用如立体摄像机系统、移动激光成像系统和其他类型的传感器系统产生点云。

点云还可用于执行各种操作如，例如，对象识别、对象分类、场景可视化、分割、二维图像数据增强和/或其他类型的操作。使用点云执行这些操作的性能水平会取决于点云的分辨率。

如本文所用，点云的“分辨率”可以是点云获取的场景中的特征在点云内可辨别的细节水平。点云的分辨率可以取决于点云中点的数量和/或点云的一部分或更多部分中的点的密度。如本文所用，“点密度”衡量每单位体积内的点的数量。密度比点云的另一部分高的那部分点云比该其他部分更密集。

在一些情形下，使用稀疏点云的对象识别、对象分类、分割和/或场景可视化会产生不准确的结果。例如，点云可能不够密集从而不能正确地进行对象识别或分类。

一些目前可用于增加点云中点的数量的解决方案包括对场景中的对象进行假设。例如，可以假设场景中对象的形状并根据这些假设将新点加到点云中。然而，对于这些类型的解决方案，加入的新点在三维参考坐标系中的位置没有期望的准确。

另外，一些目前可用的解决方案可能无法考虑场景中的实际洞穴或间隙。例如，对于一些目前可用的解决方案，新点可能加入到点云中表示场景中实际的洞穴或间隙所在的位置。此外，一些目前可用的解决方案会将连接对象的点加到点云中，而这些对象在场景中没有被连接，例如，树顶和地面。因此，希望有一种方法和装置至少考虑一些上述讨论的问题以及其他可能的问题。

发明内容

在其中一个示例性实施例中，装置包括图像处理系统。该图像处理系统被配置为将场景的点云中的至少一部分点映射到场景的二维图像以形成变换点。图像处理系统被配置为使用二维图像和变换点建立融合数据阵列。此外，图像处理系统被配置为使用融合数据阵列确定点云的新点并将新点加到点云中以形成新的点云。

在另一个示例性实施例中，图像处理系统包括融合管理器、深度值生成器和点云管理器。融合管理器被配置为将场景的点云中的至少一部分点映射到场景的二维图像以形成变换点，而且被配置为使用二维图像和变换点建立融合数据阵列。融合数据阵列包括与含有非空深度值的填充数据向量相关联的匹配元素和与含有空的深度值的未填充数据向量相关联的非匹配元素。深度值生成器被配置为确定新的深度值以替换至少一部分空的深度值。点云管理器被配置为使用新的深度值确定点云的新点并将新点加入到点云中以形成新的点云。

在又一个示例性实施例中，提供了用于向点云中增加多个点的计算机实施方法。接收场景的二维图像和场景的点云。点云中至少一部分点被映射到二维图像以形成变换点。使用二维图像和变换点建立融合数据阵列。使用融合阵列确定用于点云的新点。将新点加到点云中以形成新的点云。

本文所述的任何前述实施例还能构思下列项所述的计算机实施方法。

第12项：用于向点云（132）中增加多个点的计算机实施方法，该计算机实施方法包括：