[发明专利]一种三维重建的方法、介质、装置和计算设备

权利要求书

1.一种三维重建方法，其特征在于，包括：

获得第一图像，并利用神经网络对所述第一图像进行拟合得到第一深度图，其中所述第一深度图包括所述第一图像中的三维物体的尺度信息和空间距离信息；

基于所述第一图像和所述第一图像对应的所述第一深度图，创建所述第一图像的初始三维点云，其中包括：

对所述第一图像和所述第一深度图进行求解得到初始位姿；

将共视图作为所述第一图像的参考帧，对所述初始位姿进行优化得到相对位姿，所述共视图由不同视角下的多幅深度图构成，并且所述不同视角下的多幅深度图包括同一三维点云中点的数量达到一定阈值；

根据所述相对位姿将所述第一图像投影至三维空间得到所述初始三维点云；

将所述初始三维点云重投影至所述共视图得到图像坐标；

当所述初始三维点云重投影至所述共视图中得到的所述图像坐标处于所述共视图的边界内，则记录所述初始三维点云在所述共视图中为可视，并将所述初始三维点云和所述图像坐标进行融合得到三维重建模型。

2.如权利要求1所述的方法，其特征在于，通过如下方法对所述神经网络进行训练，其中包括：

输入用于训练的第二图像和所述第二图像对应的真值深度图，所述真值深度图包括所述第二图像中的三维物体的真实尺度信息和真实空间距离信息；

利用所述神经网络对所述第二图像进行拟合得到第二深度图，所述第二深度图包括基于所述第二图像拟合出的三维物体的所述尺度信息和所述空间距离信息；

对比所述真值深度图和所述第二深度图，对所述神经网络进行优化和训练。

3.如权利要求1或2所述的方法，其特征在于，所述神经网络的基本网络结构所采用的模型为深度残差网络。

4.如权利要求1或2所述的方法，其特征在于，所述神经网络中还包括用于估计每个像素点的深度信息的网络层。

5.如权利要求1所述的方法，其特征在于，所述将所述初始三维点云重投影至共视图得到图像坐标，包括：

根据所述相对位姿将所述初始三维点云重投影至所述共视图得到所述图像坐标。

6.如权利要求1所述的方法，其特征在于，所述当所述初始三维点云重投影至所述共视图中得到的所述图像坐标处于所述共视图的边界内，则记录所述初始三维点云在所述共视图中为可视，并将所述初始三维点云和所述图像坐标进行融合得到三维重建模型，包括：

若所述图像坐标处于所述共视图的边界内，则将所述初始三维点云和所述图像坐标进行移动加权平均得到所述三维重建模型。

7.一种三维重建装置，其特征在于，包括：

拟合单元，用于获得第一图像，并利用神经网络对所述第一图像进行拟合得到第一深度图，其中所述第一深度图包括所述第一图像中的三维物体的尺度信息和空间距离信息；

创建单元，用于基于所述第一图像和所述第一图像对应的所述第一深度图，创建所述第一图像的初始三维点云，其中包括：

用于对所述第一图像和所述第一深度图进行求解得到初始位姿的模块；

用于将共视图作为所述第一图像的参考帧，对所述初始位姿进行优化得到相对位姿的模块，所述共视图由不同视角下的多幅深度图构成，并且所述不同视角下的多幅深度图包括同一三维点云中点的数量达到一定阈值；

用于根据所述相对位姿将所述第一图像投影至三维空间得到所述初始三维点云的模块；

投影单元，用于将所述初始三维点云重投影至所述共视图得到图像坐标；

判断单元，用于判断所述初始三维点云在所述共视图中是否可视，当所述初始三维点云重投影至所述共视图中得到的所述图像坐标处于所述共视图的边界内，则记录所述初始三维点云在所述共视图中为可视；

融合单元，用于若所述初始三维点云在所述共视图中可视，则将所述初始三维点云和所述图像坐标进行融合得到三维重建模型。