[发明专利]稀疏深度图的深度补全方法、计算机装置和存储介质

权利要求书

1.一种稀疏深度图的深度补全方法，其特征在于，所述稀疏深度图的深度补全方法包括：

对神经网络进行训练；所述神经网络包括第一编码网络、第一解码网络、像素相关性计算模块、像素相关性优化模块和图像一致性优化模块；

获取待处理图像；

使用经过训练的所述神经网络，对所述待处理图像进行深度补全；

所述对神经网络进行训练，包括：

获取彩色图像；

获取所述彩色图像对应的深度图真值；

对所述深度图真值进行等距采样，获得稀疏深度图；

所述第一编码网络从所述彩色图像和所述稀疏深度图提取得到多尺度特征图；所述多尺度特征图包括多个不同尺度的特征信息；

所述第一解码网络对所述多尺度特征图回归得到初始深度图；

所述像素相关性计算模块根据所述多尺度特征图计算像素相关性；所述像素相关性表示所述彩色图像中各像素与相邻像素之间的相关程度；

所述像素相关性优化模块对所述初始深度图进行多次迭代滤波，获得稠密深度图；

所述图像一致性优化模块执行多轮迭代处理过程；在一轮迭代处理过程中，根据目标深度图与所述彩色图像，确定本轮所述迭代处理过程的残差图，根据所述目标深度图和所述残差图，确定本轮所述迭代处理过程的处理结果，根据本轮所述迭代处理过程的处理结果和所述目标深度图确定损失函数值，根据所述损失函数值调整所述图像一致性优化模块、所述第一编码网络、所述第一解码网络和所述像素相关性计算模块的参数或结束训练过程；其中，当本轮所述迭代处理过程为第一轮迭代处理过程，所述目标深度图为所述稠密深度图，当本轮所述迭代处理过程不是第一轮迭代处理过程，所述目标深度图为上一轮迭代处理过程的处理结果。

2.根据权利要求1所述的深度补全方法，其特征在于，所述对所述深度图真值进行等距采样，获得稀疏深度图，包括：

建立网格；所述网格中的任意两个相邻网格点之间的距离相等；

以所述深度图真值中对应于各所述网格点的位置为基准点；

以所述深度图真值中的所述基准点，和/或与所述基准点之间的距离不超过距离阈值的点为采样点，对所述深度图真值进行采样，获得所述稀疏深度图。

3.根据权利要求1所述的深度补全方法，其特征在于，所述从所述彩色图像和所述稀疏深度图提取得到多尺度特征图，包括：

对所述彩色图像进行编码，获得第一特征编码信息；

对所述稀疏深度图进行编码，获得第二特征编码信息；所述第一特征编码信息与所述第二特征编码信息在同一特征空间；

融合所述第一特征编码信息和所述第二特征编码信息，获得第三特征编码信息；

对所述第三特征编码信息进行编码，获得所述多尺度特征图。

4.根据权利要求1所述的深度补全方法，其特征在于，所述根据所述多尺度特征图计算像素相关性，包括：

将所述多尺度特征图中的各个尺度的特征信息，分别扩展至与所述彩色图像相同的尺寸；

获取各个尺度的特征信息对应所述彩色图像的通道维度；

将扩展后的各个尺度的特征信息按照对应的通道维度拼接在一起，获得拼接特征图；

对所述拼接特征图进行多层卷积处理，获得多维张量；以所述多维张量作为所述像素相关性。

5.根据权利要求1所述的深度补全方法，其特征在于，所述根据所述目标深度图和所述残差图，确定本轮所述迭代处理过程的处理结果，包括：

以所述目标深度图与本轮所述迭代处理过程的所述残差图之和，作为本轮所述迭代处理过程的处理结果。

6.根据权利要求1所述的深度补全方法，其特征在于，所述根据本轮所述迭代处理过程的处理结果确定损失函数值，包括：

对于第t轮所述迭代处理过程的处理结果，根据公式确定损失函数值；其中，Loss为所述损失函数值，D₁为所述稠密深度图，D_gt为所述深度图真值，为第n轮所述迭代处理过程的处理结果，λ₁和为权重系数，为损失函数。