[发明专利]基于深度学习的三维重建的方法、系统及可读存储介质

权利要求书

1.一种基于深度学习的三维重建的方法，包括：

估计输入的图片的消失点，生成多个结构；

基于全卷积神经网络FCN提取所述图片的ScoreMap，并对所述ScoreMap进行二值化操作，然后进行腐蚀以及膨胀中的至少一种操作，利用操作后的所述图片的ScoreMap对所述多个结构进行负样本抑制；其中，所述ScoreMap用于描述结构特征；

根据所述ScoreMap通过如下的公式计算每个结构的得分，根据所述每个结构的得分，从进行负样本抑制后的所述多个结构中确定目标结构：

其中，y_i为生成的结构中的结构特征构成的图，all_pixels表示所述图片的所有像素，p_i为所述全卷积神经网络FCN输出的[0，1]范围的ScoreMap；

根据所述目标结构以及所述消失点的信息进行三维重建。

2.如权利要求1所述的方法，其中，所述估计输入的图片的消失点，包括：

采用LSD算法提取所述图片的多个线段；

从所述多个线段组成的多个交点中估计消失点。

3.如权利要求2所述的方法，其中，所述从所述多个线段组成的多个交点中估计消失点，包括：

根据每个交点与每个线段的中点的夹角以及每个线段的长度，从所述多个线段组成的多个交点中估计消失点。

4.如权利要求3所述的方法，其中，所述方法包括：

通过如下的公式对每个交点进行投票，根据所述每个交点的投票值，估计消失点：

其中，v表示交点的投票值，α表示交点P与线段L的中点的夹角，|L|为线段的长度，δ表示常量。

5.如权利要求1至4中任意一项所述的方法，其中，所述消失点的数目为3。

6.如权利要求1所述的方法，其中，所述根据所述目标结构以及所述消失点的信息进行三维重建，包括：

根据所述消失点估计所述图片对应的相机参数；

根据所述相机参数、所述消失点和确定的目标结构确定所述图片对应的三维结构，实现三维重建。

7.如权利要求6所述的方法，其中，所述根据所述消失点估计所述图片对应的相机参数，包括：

利用曼哈顿假设，通过如下的最小化损失函数估计焦距：

其中，minE(f_k)表示求最小值的优化运算，E为优化目标函数，f_k为待优化变量，v_ix为前面计算好的第i个消失点的x坐标，v_iy为前面计算好的第i个消失点的y坐标，f_k表示焦距值。

8.一种基于深度学习的三维重建的系统，包括：

估计模块，用于估计输入的图片的消失点，生成多个结构；

抑制模块，用于基于全卷积神经网络FCN提取所述图片的ScoreMap，并对所述ScoreMap进行二值化操作，然后进行腐蚀以及膨胀中的至少一种操作，利用操作后的所述图片的ScoreMap对所述多个结构进行负样本抑制；其中，所述ScoreMap用于描述结构特征；

确定模块，用于根据所述ScoreMap通过如下的公式计算每个结构的得分，根据所述每个结构的得分，从进行负样本抑制后的所述多个结构中确定目标结构：

其中，y_i为生成的结构中的结构特征构成的图，all_pixels表示所述图片的所有像素，p_i为所述全卷积神经网络FCN输出的[0，1]范围的ScoreMap；

重建模块，用于根据所述目标结构以及所述消失点的信息进行三维重建。

9.如权利要求8所述的系统，其中，所述估计模块，包括：

提取单元，用于采用LSD算法提取所述图片的多个线段；

估计单元，用于从所述多个线段组成的多个交点中估计消失点。