[发明专利]用于在3D重建中检测和组合结构特征的方法和系统

说明书

一种用于形成重建的3D网格的方法包括：接收与场景相关联的一组捕捉的深度图，执行与该组捕捉的深度图相关联的初始相机姿态对准，以及在参考系中覆盖该组捕捉的深度图。该方法还包括检测覆盖的一组捕捉的深度图中的一个或多个形状，并更新初始相机姿态对准以提供形状感知相机姿态对准。该方法进一步包括执行形状感知体积融合并形成与场景相关联的重建的3D网格。

相关申请的交叉引用

本申请要求于2015年9月25日提交的题为“用于在3D重建中检测和组合结构特征的方法和系统”的美国临时专利申请No.62,232,833的优先权，其公开内容在此通过引用全部并入其中用于全部目的。

发明内容

本发明通常涉及计算机化三维(3D)图像重建领域，并且更具体地，涉及用于在3D重建中检测和组合结构特征的方法和系统。

如在此所描述的，本发明的实施例旨在解决传统技术未充分解决的问题，以及通过参考结合附图的以下详细描述而提供将变得显而易见的附加特征。

在此公开的一些实施例涉及提供形状感知(shape-aware)3D重建的方法和系统。一些实施方式结合了改进的形状感知技术，诸如形状检测、形状感知姿态估计、形状感知体积融合算法等。

根据本发明的实施例，提供了一种用于形成重建的3D网格的方法。该方法包括接收与场景相关联的一组捕捉的深度图，执行与该组捕捉的深度图相关联的初始相机姿态对准，以及在参考系中覆盖该组捕捉的深度图。该方法还包括检测覆盖的一组捕捉的深度图中的一个或多个形状，并更新初始相机姿态对准以提供形状感知相机姿态对准。该方法还包括执行形状感知体积融合并形成与场景相关联的重建3D网格。

根据本发明的另一实施例，提供了一种检测场景中存在的形状的方法。该方法包括确定与包括多个捕捉的深度图的点云相关联的垂直方向，并且形成与垂直方向正交的虚拟平面。该方法还包括将点云的点投影到虚拟平面上并且计算点云的点的投影统计。该方法进一步包括根据计算的投影统计检测一条或多条线，该一条或多条线与垂直墙相关联并且根据投影统计和一条或多条检测的线检测场景中存在的形状。

根据本发明的特定实施例，提供了一种执行形状感知相机姿态对准的方法。该方法包括接收一组捕捉的深度图。捕捉的深度图中的每一个深度图与物理相机姿态相关联。该方法还包括接收一个或多个检测的形状。一个或多个检测的形状中的每一个形状由尺寸和位置/取向表征。该方法进一步包括对于一个或多个检测的形状中的每一个形状创建3D网格，并创建与局部参考系中的每一个3D网格相关联的一个或多个虚拟相机。另外，该方法包括渲染一个或多个深度图。一个或多个渲染的深度图中的每一个与每一个3D网格相关联的每一个虚拟相机相关联。此外，该方法包括通过优化一个或多个渲染的深度图与该组捕捉的深度图之间的对准来联合求解物理相机姿态和一个或多个检测的形状的每一个形状的位置/取向。

在实施例中，形状感知3D重建方法包括以下一个或多个步骤：执行一组捕捉的深度图的姿态估计；在姿态估计之后执行对准姿态的形状检测；根据检测的形状执行形状感知姿态估计；并基于对准的姿态和形状，进行形状感知体积融合以生成一个或多个3D网格。

与传统技术相比，通过本发明实现了许多益处。例如，本发明的实施例在3D网格中提供了清晰和锐利的形状和边缘，因此看起来比不使用形状感知3D重建生成的3D网格更真实。相应地，本发明实施例提供的3D网格对观看者来说更加舒适。另一个好处是，由于在3D重建过程中存在检测的形状，因此可以实现捕捉深度图的更精确和更鲁棒的对准。此外，还提供了端到端的3D重建框架，该框架应用了人造场景的先验知识，并且同时保持了场景异构方面的灵活性。结合下文和附图更详细地描述本发明的这些和其它实施例以及其许多优点和特征。

附图说明

参考以下附图详细描述根据一个或多个各种实施例的本公开。提供附图仅用于说明的目的并且仅描绘本公开的示例性实施例。提供这些附图是为了便于读者理解本公开，并且不应被视为限制本公开的广度、范围或适用性。应当注意的是，为了清楚和易于说明，这些附图不一定按比例绘制。