[发明专利]一种基于语义关联的多尺度双目立体匹配方法及装置

说明书

本发明提供一种基于语义关联的多尺度双目立体匹配方法及装置，结合语义分割分类结果和自注意力机制实现对不同物体的区分处理，构建不同类别的像素之间的语义关联关系，有助于提高网络对不同物体的分辨能力，之后采用自注意力机制来构建不同类别的像素之间的关联关系，有利于后续视差回归时充分考虑其它类别的像素对自身视差预测提供的有效信息，从而提高视差估计的准确性。本发明充分考虑不同分辨率特征对视差估计效果的影响，构建不同尺度的视差代价体，然后采用3D卷积操作实现多尺度代价体融合，得到最终的多尺度视差代价体cost volume，充分利用低分辨率特征提供的丰富语义信息和高分辨率特征提供的细节信息，从而有效提高整体的视差估计精度。

技术领域

本发明涉及图像数据处理技术领域，更具体地，涉及一种基于语义关联的多尺度双目立体匹配方法及装置。

背景技术

双目立体匹配研究在车辆自动驾驶、虚拟现实、三维重建、目标检测与识别领域等具有重要意义。立体匹配旨在为校正后的左右视图提供稠密的匹配对。对于双目相机拍摄同一场景的左、右两幅视点图像，要想获取图像的深度信息，需要运用立体匹配算法获取视差图，进而获取深度图。在自动驾驶场景中，自动驾驶车辆可以配备双目摄像头来拍摄道路图像，算法模型根据输入的双目图像进行立体匹配得到视差图，再通过相机参数转为深度图，从而获取物体可靠的深度信息，有利于后续目标的检测，使自动驾驶车辆能够有效避开障碍，安全行驶。立体匹配的传统方法可分为局部和全局两类：局部算法一般在代价聚合之后，通过选择最低匹配代价来得到对应的视差。全局算法没有进行代价聚合，而是定义了一个包含数据项和平滑项的能量函数并通过最小化能量函数来求得视差。全局算法由于非常高的运算量或内存消耗，在大多数场合都无法应用，而局部算法虽然速度很快，但是鲁棒性差，匹配质量比较低。传统的立体匹配算法虽然取得了一定的效果，但其推导过程复杂，计算量大，随着深度卷积神经网络(CNN)的发展，更多学者偏向于利用深度学习来解决双目图像的立体匹配任务。目前基于深度学习的双目立体匹配算法成为主流，同时在匹配精度上也比传统算法更有优势。

现阶段，基于深度学习的双目立体匹配算法具有以下难点，目前主流的论文或专利难以充分解决：

一是现有方法对注意力机制的使用比较单一，未考虑到结合注意力机制和语义分割分类结果来构建不同类别之间的语义关联关系。实际应用中，例如自动驾驶场景下的双目立体匹配，对于地面的像素基本上是连续的，是比较容易估计的，相对来说，对于车或者人这些小目标来说，视差估计是比较难的，但由于车或者人往往都是与地面接触的，因此可以通过构建不同类别的像素之间的语义关联，以实现根据地面信息来辅助其他类别的像素的视差估计，从而提高小目标的视差估计精度。

二是现有方法未考虑到不同分辨率特征对于视差代价体构建的影响。现有方法往往采用backbone网络获取的特征直接去构建视差代价体，而未考虑到不同分辨率特征对于不同视差范围的影响是不同的。对于那些视差范围比较小的像素点，往往更依赖于高分辨率的特征来提供更多的局部细节信息；对于那些视差范围比较大的像素点，除了局部信息之外，还需要一些低分辨率的特征来提供更多的语义信息。因此，在构建视差代价体的时候需要充分利用多尺度特征来提供更丰富的语义特征和细节信息。

发明内容

鉴于上述问题，本发明的目的是提供一种基于语义关联的多尺度双目立体匹配方法及装置，结合语义信息以及多尺度特征构建代价体的双目立体匹配方法能够有效地提高视差估计的精度。

本发明第一方面提供一种基于语义关联的多尺度双目立体匹配方法，包括以下步骤：

获取校正后的左相机图像和右相机图像，即左视图和右视图；

将左视图和/或右视图输入到语义分割网络获取左视图和/或右视图的语义分割mask(掩模)分类结果；

通过2D特征提取网络分别提取左视图、右视图的多尺度的2D特征；