[发明专利]多分辨率体素网格化

说明书

本公开涉及多分辨率体素网格化。本文公开的各具体实施生成表示物理环境中的表面的网格。该网格使用基于检测到的深度信息(例如，来自深度相机)的多分辨率体素生成。这些技术可使用多个哈希表来存储多分辨率体素数据。例如，哈希表可存储每个体素的3D位置和与每个体素距最接近表面的距离对应的截断式带符号距离场(TSDF)值。多个哈希表中的每个哈希表可包括对应于不同分辨率级别的数据，并且那些分辨率可取决于距离/噪声或其他因素。例如，与距离深度相机较远的体素相比，靠近深度相机的体素可具有更精细的分辨率和更小的尺寸。本文所公开的技术可涉及使用网格化算法，该网格化算法将存储在多个哈希表中的多分辨率体素信息组合以生成单个网格。

技术领域

本公开整体涉及生成物理环境的三维几何表示，并且具体地涉及基于在物理环境中检测到的深度信息生成几何表示的系统、方法和设备。

背景技术

已通过生成三维(3D)网格对物理环境建模(例如，重建)。这些网格表示物理环境的地板、墙壁和其他对象的3D表面点和其他表面特征。此类重建可基于物理环境的图像和深度测量(例如，使用RGB相机和深度传感器)来生成。该重建技术可使用体素(voxel)生成网格来提供重建。如本文所用，体素是指体积像素。现有的重建技术使用固定尺寸的体素，这些体素在3D空间中以规则间隔的网格间隔开，而体素之间没有间隙。例如，此类重建技术可使用截断式带符号距离函数(TSDF)定容地累积信息，该截断式带符号距离函数为物理环境中的表面的阈值距离内的体素提供符号距离值，其中这些值表示此类体素到物理环境中最接近的相应表面的距离。当此类技术使用相对较大的体素时，这些技术可能无法充分表示物理环境的详细特征。相比之下，当此类技术使用相对较小的体素时，这些技术可能由于噪声滤波不充分而产生不准确的重建，并且可能需要不期望的资源使用，例如，需要无法实时执行的处理或不期望或难以获得的存储器存储级别。因此，现有的重建技术可能无法提供足够准确有效的物理环境重建。

发明内容

本文所公开的各种具体实施包括使用基于检测到的深度信息生成的多分辨率体素来生成表示物理环境中的表面的网格(例如，形成连接的三角形的顶点)的设备、系统和方法。在一些具体实施中，重建技术使用多个哈希表来存储多分辨率体素数据。例如，该哈希表可存储每个体素的3D位置和与每个体素距最接近表面的距离对应的截断式带符号距离场(TSDF)值。该多个哈希表中的每个哈希表可包括对应于不同分辨率级别的数据。那些分辨率可以基于体素距传感器的距离、与不同体素相关联的深度数据中的噪声或其他因素来选择。例如，与距离深度相机较远的体素相比，靠近深度相机的体素可具有更精细的分辨率和更小的尺寸。

本文所公开的技术可通过使用多分辨率体素来实现各种优点。使用多分辨率体素为重建的某些部分提供较小的体素以提供更精细的分辨率并因此潜在地提供更高的准确性和保真性，并且为重建的其他部分提供较大的体素以提供更粗糙的分辨率并因此提供更低的准确性和保真性。如果已将小体素用于重建的所有部分，则所有尺寸的体素的总数可能小于原本将存在的体素总数，从而减少确定和处理体素信息所需的资源。此外，可使用相比于提供对较小体素的使用将不太可能带来更高准确性的区域(例如，在数据中存在较多噪声的区域)，在这样做将可能带来更高准确性的区域(例如，在数据中存在较少噪声的区域)中这样做的标准来确定体素尺寸(例如，哪些体素小，哪些体素大)。因此，使用适当选择和变化尺寸的体素可有利于快速且有效的重建，例如，为重建提供足够的准确度和速度以用于实时应用。

本文所公开的技术可使用多分辨率体素数据来生成重建物理环境的几何结构的网格。这可涉及使用网格化算法，该网格化算法将存储在多个哈希表中的多分辨率体素信息组合以生成单个网格。此类算法被配置为考虑多个哈希表中表示的体素的不同分辨率。

本公开的一些具体实施涉及一种基于深度传感器测量结果生成表示3D环境中的表面的网格(例如，形成连接的三角形的顶点)的示例性方法。该方法涉及使用传感器获得物理环境的深度数据。例如，该深度数据可包括来自视点的像素深度值以及传感器位置和取向数据。