[发明专利]深度图生成方法和装置

说明书

提供了一种深度图生成方法和装置。所述深度图生成方法包括：基于双目图像产生第一深度图；获取深度相机采集的第二深度图；通过将第一深度图与第二深度图融合来产生最终深度图。

技术领域

本发明涉及图像处理领域，更具体地，涉及一种深度图生成方法和装置。

背景技术

最近，在自动驾驶、机器人导航和增强现实等众多技术中，都需要基于精准且稠密的深度估计来解决高级别的任务。深度既可以通过诸如雷达(LiDAR)、结构光传感器(structure light,SL)、飞行时间传感器(time-of-flight，TOF)等的传感器获取，也可以通过基于立体匹配算法的深度估计从双目图像中生成。

具体来说，LiDAR是一种能够准确测量远距离的传感器，但是仅可以提供稀疏的深度图且垂直方向的成像视野小，而且高精度的LiDAR设备比较昂贵且体积大，限制了其应用场景。SL和TOF传感器的测量距离有限，随着测量距离增加，其精度就逐渐下降，这一缺点限制了其测量范围，在室外环境中效果不佳，并且采集的深度图存在噪声高、分辨率低等问题。基于立体匹配算法的深度估计能够获得稠密的深度图，目前精度较高的多是基于深度学习网络的方法，但在遇到无纹理区域、反光区域和遮挡区域等病态区域时深度估计精度下降，并且存在域适应问题，即，在特定数据集(诸如，合成数据集)训练的网络模型，换到别的数据集(诸如，真实数据集)上会存在精度下降的问题，不适合应用在新的环境中。

发明内容

根据本发明的示例性实施例，提供了一种深度图生成方法，包括：基于双目图像产生第一深度图；获取深度相机采集的第二深度图；通过将第一深度图与第二深度图融合来产生最终深度图。

获取第二深度图的步骤可包括：从第二深度图提取深度特征；通过对提取的深度特征进行由相似矩阵引导的滤波，来产生深度补全的第三深度图，其中，相似矩阵是基于双目图像产生的。

产生深度补全的第三深度图的步骤可包括：基于相似矩阵获得深度图的当前像素与当前像素的相邻像素之间的相似度，并基于相邻像素的深度特征和所述相似度按照预定方向对当前像素的深度特征进行滤波。

所述预定方向可包括从上到下的方向、从下到上的方向、从左到右的方向和从右到左的方向中的至少一个方向。

产生第一深度图的步骤可包括：获得双目图像包括的每个单目图像的第一特征图；基于单目图像的第一特征图，来获得匹配代价矩阵；对匹配代价矩阵进行代价聚合；基于代价聚合的匹配代价矩阵来产生每个单目图像的深度图。

产生第一深度图的步骤还可包括：对每个单目图像的深度图进行一致性检测以获得每个单目图像的可信深度图。

获得第一特征图的步骤可包括基于注意力机制的神经网络对双目图像进行特征提取。

获得匹配代价矩阵的步骤可包括：基于单目图像的第一特征图获得初始匹配代价矩阵，并将初始匹配代价矩阵输入到预定神经网络进行卷积来获得匹配代价矩阵。

进行代价聚合的步骤可包括基于图神经网络(GNN)对匹配代价矩阵进行代价聚合。

进行代价聚合的步骤可包括：根据距离获得与作为匹配代价矩阵的元素的每个中心节点的邻域节点，基于每个邻域节点的权重和邻域节点的匹配代价，来更新每个中心节点的匹配代价以获得第一代价聚合的匹配代价矩阵。

进行代价聚合的步骤还可包括使用第二特征图引导代价聚合。

第二特征图可以是基于语义分割神经网络生成的，或者第二特征图与第一特征图相同。