[发明专利]深度图生成方法和装置

权利要求书

1.一种深度图生成方法，包括：

基于双目图像产生第一深度图；

获取深度相机采集的第二深度图；

通过将第一深度图与第二深度图融合来产生最终深度图。

2.如权利要求1所述的深度图生成方法，其中，获取第二深度图的步骤包括：

从第二深度图提取深度特征；

通过对提取的深度特征进行由相似矩阵引导的滤波，来产生深度补全的第三深度图，

其中，相似矩阵是基于双目图像产生的。

3.如权利要求2所述的深度图生成方法，其中，产生深度补全的第三深度图的步骤包括：基于相似矩阵获得深度图的当前像素与当前像素的相邻像素之间的相似度，并基于相邻像素的深度特征和所述相似度按照预定方向对当前像素的深度特征进行滤波。

4.如权利要求3所述的深度图生成方法，其中，所述预定方向包括从上到下的方向、从下到上的方向、从左到右的方向和从右到左的方向中的至少一个方向。

5.如权利要求1所述的深度图生成方法，其中，产生第一深度图的步骤包括：

获得双目图像包括的每个单目图像的第一特征图；

基于单目图像的第一特征图，来获得匹配代价矩阵；

对匹配代价矩阵进行代价聚合；

基于代价聚合的匹配代价矩阵来产生每个单目图像的深度图。

6.如权利要求5所述的深度图生成方法，其中，产生第一深度图的步骤还包括：

对每个单目图像的深度图进行一致性检测以获得每个单目图像的可信深度图。

7.如权利要求5所述的深度图生成方法，其中，获得第一特征图的步骤包括基于注意力机制的神经网络对双目图像进行特征提取。

8.如权利要求5所述的深度图生成方法，其中，获得匹配代价矩阵的步骤包括：基于单目图像的第一特征图获得初始匹配代价矩阵，并将初始匹配代价矩阵输入到预定神经网络进行卷积来获得匹配代价矩阵。

9.如权利要求5所述的深度图生成方法，其中，进行代价聚合的步骤包括基于图神经网络(GNN)对匹配代价矩阵进行代价聚合。

10.如权利要求9所述的深度图生成方法，其中，进行代价聚合的步骤包括：根据距离获得与作为匹配代价矩阵的元素的每个中心节点的邻域节点，基于每个邻域节点的权重和邻域节点的匹配代价，来更新每个中心节点的匹配代价以获得第一代价聚合的匹配代价矩阵。

11.如权利要求10所述的深度图生成方法，其中，进行代价聚合的步骤还包括使用第二特征图引导代价聚合。

12.如权利要求11所述的深度图生成方法，其中，第二特征图是基于语义分割神经网络生成的，或者第二特征图与第一特征图相同。

13.如权利要求12所述的深度图生成方法，其中，进行代价聚合的步骤包括：根据距离获得与第二特征图的每个像素的邻域像素，按照第二特征图与匹配代价之间的像素对应关系，找到作为匹配代价矩阵的元素的每个中心节点的邻域节点，基于邻域节点的权重和匹配代价来更新每个中心节点的匹配代价以获得第二代价聚合的匹配代价矩阵，并将第一代价聚合的匹配代价矩阵与第二代价聚合的匹配代价矩阵聚合以获得第三代价聚合的匹配代价矩阵。

14.如权利要求10或13所述的深度图生成方法，其中，所述距离为空间距离、特征向量距离、或者空间距离与特征向量距离的加权和。

15.如权利要求5所述的深度图生成方法，其中，进行代价聚合的步骤包括：根据多个不同尺度的匹配代价矩阵获得临时匹配代价矩阵，获得临时匹配代价矩阵的每个元素对应于预定视差的概率，根据所述概率与临时匹配代价矩阵获得第四匹配代价矩阵。