[发明专利]基于深度学习的三维重建的方法、系统及可读存储介质

说明书

本发明的实施方式提供了一种基于深度学习的三维重建的方法和系统。通过估计输入的图片的消失点，生成多个结构；基于深度学习提取的结构特征，从所述多个结构中确定目标结构；根据所述目标结构以及所述消失点的信息进行三维重建。实现了利用深度学习提取结构特征，使得提取的结构特征准确，鲁棒性好，进而提高了三维重建的效果，而且，不同于现有技术中的需要对所有结构进行相同的特征提取操作，本发明实施例中利用深度学习的提取结构特征适用于所有结构，进而提高了三维重建的效率。

技术领域

本发明的实施方式涉及通信与计算机技术领域，更具体地，本发明的实施方式涉及基于深度学习的三维重建的方法、系统及可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着科学技术的发展，重建技术在计算机视觉和计算机图形学领域受到了越来越多的关注，在过去的几十年中，很多学者提出了基于二维图像进行三维重建的方法，例如，通过序列约束、连接性约束、消失点约束、共面约束和边界约束，生成可能的房间场景布局，然后利用最大化能量方法从众多场景布局中选择一个最优的结果，最后使用条件随机场的结构化学习的方法从这些立方体的布局中筛选出结果。该方法利用条件随机场的场景布局筛选方法。

又例如，通过以下步骤进行三维重建：A、使用普通相机采集单张图像数据，提取图像中的直线特征，采用EM迭代算法对直线分组并求取消失点，然后通过消失点的信息对相机进行标定；B、利用分类直线进行支撑性分析，得到图像中每个像素所属墙面，从而得到初步的场景结构；C、通过用户的交互操作从初步的场景结构中提取并构建图像场景图，并在交互过程中优化场景结构，从而得到最终的三维场景结构信息；D、使用单根有向线段特征将得到的三维场景结构注册到统一的三维场景中，进而将单相机下的三维场景结构扩大到更大范围。

发明内容

但是，现有技术中的三维重建方法中，需要对所有的可能的房间结构进行人工设计特征，然而，一方面，人工设计的特征参数敏感、不稳定、鲁棒性差，使得三维重建的效果差。另一方面，消失点生成的结构数量大，对不同的结构都要进行特征提取操作，特征提取和结构筛选过程运算代价非常大，降低了三维重建的效率。

为此，非常需要一种新的基于深度学习的三维重建的方法、系统及可读存储介质，利用深度学习进行特征提取，避免人工设计特征，以提升三维重建的效率和效果。

在本上下文中，本发明的实施方式期望提供一种基于深度学习的三维重建的方法、系统及可读存储介质。

在本发明实施方式的第一方面中，提供了一种基于深度学习的三维重建的方法，包括：估计输入的图片的消失点，生成多个结构；

基于深度学习提取的结构特征，从所述多个结构中确定目标结构；

根据所述目标结构以及所述消失点的信息进行三维重建。

在一些实施例中，基于前述方案，所述估计输入的图片的消失点，包括：

采用LSD算法提取所述图片的多个线段；

从所述多个线段组成的多个交点中估计消失点。

在一些实施例中，基于前述方案，所述从所述多个线段组成的多个交点中估计消失点，包括：

根据每个交点与每个线段的中点的夹角以及每个线段的长度，从所述多个线段组成的多个交点中估计消失点。

在一些实施例中，基于前述方案，所述方法包括：

通过如下的公式对每个交点进行投票，根据所述每个交点的投票值，估计消失点：

其中，v表示交点的投票值，α表示交点P与线段L的中点的夹角，|L|为线段的长度，δ表示常量。