[发明专利]深度图像的增强方法、装置、电子设备以及存储介质

权利要求书

1.一种深度图像的增强方法，其特征在于，应用于电子设备，所述方法包括：

获取彩色图像和待增强深度图像，其中，所述彩色图像和所述待增强深度图像的图像内容相同，且所述彩色图像的分辨率大于所述待增强深度图像的分辨率；

将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，其中，所述彩色图像的分辨率与所述待增强平面图像的分辨率相同；

将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，其中，所述已增强深度图像的分辨率大于所述待增强深度图像的分辨率。

2.根据权利要求1所述的方法，其特征在于，所述电子设备包括RGB摄像头和LiDAR摄像头，所述获取彩色图像和待增强深度图像，包括：

获取所述RGB摄像头采集的所述彩色图像，并获取所述LiDAR摄像头采集的所述待增强深度图像。

3.根据权利要求2所述的方法，其特征在于，所述将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像，包括：

获取所述RGB摄像头的摄像头参数作为第一摄像头参数，并获取所述LiDAR摄像头的摄像头参数作为第二摄像头参数；

基于所述第一摄像头参数和所述第二摄像头参数，将所述待增强深度图像与所述彩色图像对齐，获得所述待增强深度图像对应的待增强平面图像。

4.根据权利要求1所述的方法，其特征在于，所述已训练的神经网络模型包括全局特征提取模块、局部特征提取模块以及生成模块，所述将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像，包括：

将所述彩色图像和所述待增强平面图像输入所述全局特征提取模块，获得所述全局特征提取模块输出的全局深度预测值和全局置信权重；

将所述彩色图像和所述待增强平面图像输入所述局部特征提取模块，获得所述全局特征提取模块输出的局部深度预测值和局部置信权重；

将所述全局深度预测值、所述全局置信权重、所述局部深度预测值以及所述局部置信权重输入所述生成模块，获得所述生成模块输出的所述已增强深度图像。

5.根据权利要求4所述的方法，其特征在于，所述已训练的神经网络模型还包括归一化模块，所述将所述全局深度预测值、所述全局置信权重、所述局部深度预测值以及所述局部置信权重输入所述生成模块，获得所述生成模块输出的所述已增强深度图像，包括：

将所述全局置信权重和所述局部置信权重输入所述归一化模块，获得所述归一化模块输出的全局置信权重值和局部置信权重值；

将所述全局深度预测值、所述全局置信权重值、所述局部深度预测值以及所述局部置信权重值输入所述生成模块，获得所述生成模块输出的所述已增强深度图像。

6.根据权利要求4所述的方法，其特征在于，所述全局特征提取模块的编解码网络基于ERFNet架构构建，所述局部特征提取模块的编解码网络基于堆叠沙漏网络架构构建。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述将所述彩色图像和所述待增强平面图像输入已训练的神经网络模型，获得所述已训练的神经网络模型输出的已增强深度图像之前，还包括

获取训练数据集，其中，所述训练数据集包括多个彩色图像、多个待增强深度图像对应的多个待增强平面图像以及多个已增强深度图像，所述多个彩色图像、所述多个待增强平面图像以及所述多个已增强深度图像一一对应；

将所述多个彩色图像、多个待增强平面图像作为输入参数，所述多个已增强深度图像作为输出参数对神经网络模型进行训练，获得已训练的神经网络模型。