[发明专利]基于深度学习的实景三维语义重建方法、装置及存储介质

权利要求书

1.基于深度学习的实景三维语义重建方法，其特征在于，包括：

获取航拍图像；

对所述航拍图像进行语义分割，确定像素概率分布图；

对所述航拍图像进行运动恢复结构，确定所述航拍图像的相机位姿；

对所述航拍图像进行深度估计，确定所述航拍图像的深度图；

将所述像素概率分布图、所述相机位姿以及所述深度图进行语义融合，确定三维语义模型。

2.根据权利要求1所述的方法，其特征在于，所述确定像素概率分布图，包括：

对语义分割网络算法进行修改，确定修改后的算法；

采用训练集对所述修改后的算法进行迁移学习，确定所述像素概率分布图。

3.根据权利要求1所述的方法，其特征在于，所述对所述航拍图像进行运动恢复结构，包括采用SfM算法对所述航拍图像进行运动恢复结构。

4.根据权利要求1所述的方法，其特征在于，所述对所述航拍图像进行运动恢复结构还包括：得出所述航拍图像的相机参数和深度范围。

5.根据权利要求1所述的方法，其特征在于，所述确定所述航拍图像的深度图，包括：

采用基于MVSNet生成所述航拍图像的深度图；

使用数据集对所述深度图进行训练，确定训练后的深度图。

6.根据权利要求1所述的方法，其特征在于，在进行将所述像素概率分布图、所述相机位姿以及所述深度图进行语义融合之前，包括：对所述深度图中的数据进行去噪处理。

7.根据权利要求1所述的方法，其特征在于，所述确定三维语义模型，包括：

采用相邻视图投影过滤所述深度图，确定过滤后像素深度图；

融合所述过滤后像素深度图、所述像素概率分布图以及所述相机位姿，确定三维语义模型。

8.基于深度学习的实景三维语义重建装置，其特征在于，包括：

图像获取模块，用于获取航拍图像；

语义分割模块，用于对所述航拍图像进行语义分割，确定像素概率分布图；

相机位姿确定模块，用于对所述航拍图像进行运动恢复结构，确定所述航拍图像的相机位姿；

深度图确定模块，用于对所述航拍图像进行深度估计，确定所述航拍图像的深度图；

三维语义模型确定模块，用于将所述像素概率分布图、所述相机位姿以及所述深度图进行语义融合，确定三维语义模型。

9.基于深度学习的实景三维语义重建服务器，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机可执行指令；

所述处理器用于执行所述计算机可执行指令，以实现权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，计算机执行所述可执行指令时能够实现如权利要求1-7任一项所述的方法。