[发明专利]用于在3D重建中检测和组合结构特征的方法和系统

权利要求书

1.一种用于形成重建的3D网格的方法，所述方法包括：

在一个或多个处理器处接收与场景相关联的一组捕捉的深度图；

使用所述一个或多个处理器执行与所述一组捕捉的深度图相关联的初始相机姿态对准；

使用所述一个或多个处理器在参考系中覆盖所述一组捕捉的深度图；

使用所述一个或多个处理器检测所覆盖的一组捕捉的深度图中的一个或多个形状；

使用所述一个或多个处理器更新所述初始相机姿态对准以提供形状感知相机姿态对准；

使用所述一个或多个处理器执行形状感知体积融合；以及

使用所述一个或多个处理器形成与所述场景相关联的所述重建的3D网格。

2.根据权利要求1所述的方法，其中，所述一组捕捉的深度图从相对于所述场景的不同位置获得。

3.根据权利要求1所述的方法，其中，所述一组捕捉的深度图在不同时间从相对于所述场景的单个位置获得。

4.根据权利要求1所述的方法，其中，所述参考系包括一个或多个检测的形状中的一个形状的参考系。

5.根据权利要求1所述的方法，其中，所述检测所述覆盖的一组捕捉的深度图中的一个或多个形状包括：

确定与所述覆盖的一组捕捉的深度图相关联的点云相关联的垂直方向；

形成与所述垂直方向正交的虚拟平面；

将所述点云的点投影到所述虚拟平面上；

计算所述点云的所述点的投影统计；

根据所计算的投影统计检测一条或多条线，所述一条或多条线与垂直墙相关联；以及

根据所述投影统计和一条或多条所检测的线检测所述一个或多个形状。

6.根据权利要求1所述的方法，其中，所检测的一个或多个形状包括墙角或门框中的至少一个。

7.根据权利要求1所述的方法，其中，提供所述形状感知相机姿态对准包括：

对于所述一个或多个检测的形状中的每一个形状创建3D网格；其中所述覆盖的一组捕捉的深度图与物理相机姿态相关联，并且所述一个或多个检测的形状中的每一个形状由尺寸和位置/取向来表征；

在局部参考系中创建与每一个3D网格相关联的一个或多个虚拟相机；

渲染一个或多个深度图，一个或多个所渲染的深度图中的每一个渲染的深度图与每一个3D网格相关联的每一个虚拟相机相关联；以及

通过优化所述一个或多个渲染的深度图与所述一组捕捉的深度图之间的对准，联合求解所述物理相机姿态和所述一个或多个检测的形状的每一个形状的位置/取向。

8.一种检测场景中存在的形状的方法，所述方法包括：

使用一个或多个处理器确定与包括多个捕捉的深度图的点云相关联的垂直方向；

使用所述一个或多个处理器形成与所述垂直方向正交的虚拟平面；

使用所述一个或多个处理器将所述点云的点投影到所述虚拟平面上；

使用所述一个或多个处理器计算所述点云的所述点的投影统计；

使用所述一个或多个处理器根据所计算的投影统计检测一条或多条线，所述一条或多条线与垂直墙相关联；以及

使用所述一个或多个处理器根据所述投影统计和一条或多条所检测的线检测所述场景中存在的所述形状。

9.根据权利要求8所述的方法，还包括确定所检测的形状的尺寸和位置。

10.根据权利要求8所述的方法，其中，确定所述垂直方向包括使用点法线。

11.根据权利要求8所述的方法，其中，所述投影统计包括投影到所述虚拟平面中的预定x、y位置上的所述点云的点的数量。

12.根据权利要求11所述的方法，其中，所述投影统计包括投影到所述虚拟平面中的所述预定x、y位置上的所述点云的所述点的点法线的分布。