[发明专利]一种立体匹配方法及装置

说明书

本发明提供了一种立体匹配方法及装置，其中，该方法包括：获取场景图像的初始视差图；对所述场景图像进行实例分割得到分割结果；根据所述分割结果对所述初始视差图进行优化，得到目标视差图，可以解决相关技术中采用语义分割进行立体匹配时，容易出现位置相临近的不同目标实例的视差值相互影响的问题，能够区分不同的物体，对于估算视差，尤其是前景目标的视差，有很大的改善。

技术领域

本发明涉及双目立体视觉领域，具体而言，涉及一种立体匹配方法及装置。

背景技术

双目立体视觉是计算机视觉领域研究的关键技术。目前，已被广泛地应用在机器人视觉、自主车导航、三维测量、基于图像的建模和绘制等领域。

目前常见的立体匹配方法包括全局方法和局部方法。全局算法主要包括图割(GC)和置信传播(BP)方法等，准确率较高，但速度相对较慢。局部算法主要是利用局部信息进行匹配，速度较快，但是难以解决无纹理区域、重复模式和遮挡区域的匹配问题。

随着深度学习在识别、目标检测等领域不断的取得成功，深度学习逐渐被应用到立体匹配中。基于语义分割及神经网络的图像立体匹配中，语义分割图为神经网络提供了丰富的信息，且只对图像中感兴趣的区域进行处理，又采用了残差网络，使得匹配精度与速度都得到了提升。

然而，采用语义分割难以区分同类目标的不同实例，容易出现位置相临近的不同目标实例的视差值相互影响的情况，导致目标实例的位置分割不准确，立体匹配得到的视差图中目标实例的位置不准确。

针对相关技术中采用语义分割进行立体匹配时，容易出现位置相临近的不同目标实例的视差值相互影响的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种立体匹配方法及装置，以至少解决相关技术中采用语义分割进行立体匹配时，容易出现位置相临近的不同目标实例的视差值相互影响的问题。

根据本发明的一个实施例，提供了一种立体匹配方法，包括：

获取场景图像的初始视差图；

对所述场景图像进行实例分割得到分割结果；

根据所述分割结果对所述初始视差图进行优化，得到目标视差图。

可选地，根据所述分割结果对所述初始视差图进行优化，得到所述目标视差图包括：

将所述初始视差图与所述分割结果输入预先训练好的编解码结构网络中进行深度学习，得到所述目标视差图。

可选地，将所述初始视差图与所述分割结果输入预先训练好的编解码结构网络中进行深度学习，得到所述目标视差图包括：

将所述参考图像、所述初始视差图以及所述分割结果进行通道合并后组成一个多通道数组；

将所述多通道数组输入所述预先训练好的编解码结构网络中进行深度学习，得到所述目标视差图。

可选地，将所述多通道数组输入所述预先训练好的编解码结构网络中进行深度学习，得到所述目标视差图包括：

将所述多通道数组进行卷积层降采样和反卷积层上采样处理，得到所述目标视差图。

可选地，对所述场景图像进行实例分割得到分割结果包括：

对所述场景图像采用神经网络进行实例分割得到所述分割结果。

可选地，对所述场景图像进行实例分割得到分割结果包括：

对参考图像进行实例分割得到所述分割结果，其中，所述场景图像包括第一图像和第二图像，所述参考图像为所述第一图像或所述第二图像。

可选地，对所述参考图像进行实例分割得到所述分割结果包括：