[发明专利]一种基于语义分割及神经网络的图像立体匹配方法及系统

权利要求书

1.一种基于语义分割及神经网络的图像立体匹配方法，其特征在于，包括：

S1、获取场景图像的初始视差图；

S2、利用语义分割图获取场景图像的感兴趣区域，将感兴趣区域和初始视差图一起输入残差网络中；

S3、利用反卷积模块将感兴趣区域映射到视差图中得到精确视差图；

步骤S1中获取场景图像的初始视差图的方法为：

将场景图像输入卷积神经网络，卷积神经网络计算场景图像的匹配代价，并输出场景图像的初始视差图，该卷积神经网络包括3x3滤波器、1x1填充层，以及ReLU非线性层。

2.如权利要求1所述的基于语义分割及神经网络的图像立体匹配方法，其特征在于，步骤S3中获取场景图像的精确视差图之后，还包括：

检测所述精确视差图中像素点的异常值，采取左右一致性检查来减少异常值，并使用双边滤波器对所述精确视差图进行平滑处理，使得其边缘的模糊程度降低。

3.如权利要求1所述的基于语义分割及神经网络的图像立体匹配方法，其特征在于，步骤S3中选取像素点匹配代价最小的视差作为最终视差，各像素点的最终视差形成所述精确视差图。

4.如权利要求1所述的基于语义分割及神经网络的图像立体匹配方法，其特征在于，步骤S2中所述语义分割图是基于PSPNet获取的语义分割图。

5.一种基于语义分割及神经网络的图像立体匹配系统，其特征在于，包括：

初始视差图获取模块：用于获取场景图像的初始视差图；

残差网络输入模块：用于利用语义分割图获取场景图像的感兴趣区域，将感兴趣区域和初始视差图一起输入残差网络中；

精确视差图获取模块：用于利用反卷积模块将感兴趣区域映射到视差图中得到精确视差图；

初始视差图获取模块用于将场景图像输入卷积神经网络，所述卷积神经网络计算场景图像的匹配代价，并输出场景图像的所述初始视差图，该卷积神经网络包括3x3滤波器、1x1填充层，以及ReLU非线性层。

6.如权利要求5所述的基于语义分割及神经网络的图像立体匹配系统，其特征在于，还包括校正模块：用于检测所述精确视差图中像素点的异常值，采取左右一致性检查来减少异常值，并使用双边滤波器对所述精确视差图进行平滑处理，使得其边缘的模糊程度降低。

7.如权利要求5所述的基于语义分割及神经网络的图像立体匹配系统，其特征在于，精确视差图获取模块用于选取像素点匹配代价最小的视差作为最终视差，并将各像素点的最终视差形成所述精确视差图。

8.如权利要求5所述的基于语义分割及神经网络的图像立体匹配系统，其特征在于，残差网络输入模块中所述语义分割图是基于PSPNet获取的语义分割图。