[发明专利]一种视差图生成系统、方法及存储介质

权利要求书

1.一种视差图生成系统，其特征在于，所述系统包括图像获取模块、初始视差图获取模块、残差计算模块、目标视差图生成模块；

所述图像获取模块，用于获取双目摄像头拍摄的主图及辅图；

所述初始视差图获取模块，用于基于所述主图及所述辅图，获取初始视差图；

所述残差计算模块，用于将所述主图、所述辅图及所述初始视差图输入第一卷积神经网络，计算残差；

所述目标视差图生成模块，用于基于所述初始视差图及所述残差，生成目标视差图。

2.根据权利要求1所述的系统，其特征在于，所述初始视差图获取模块，包括：

校正子模块，用于对所述主图和所述辅图进行校正，得到校正主图及校正辅图；与

第一初始视差图获取子模块，用于将所述校正主图及所述校正辅图输入第二卷积神经网络，获取所述初始视差图。

3.根据权利要求1所述的系统，其特征在于，所述残差计算模块，包括：

图像处理子模块，用于基于所述主图、所述辅图和所述初始视差图，获取预估主图和误差图，所述预估主图为所述辅图与所述初始视差图的合成图像，所述误差图为所述主图与所述预估主图的误差图像；与

残差计算子模块，用于将所述主图、所述辅图、所述初始视差图、所述预估主图及所述误差图输入所述第一卷积神经网络，计算所述残差。

4.根据权利要求2所述的系统，其特征在于，所述初始视差图获取模块，包括：

三维代价体获取子模块，用于对所述校正主图和所述校正辅图进行相关性计算，得到三维代价体；与

三维代价体处理子模块，用于将所述三维代价体输入所述第二卷积神经网络，获取初始视差图。

5.根据权利要求4所述的系统，其特征在于，所述初始视差图获取模块，包括：

第二初始视差图获取子模块，用于将所述三维代价体输入所述第二卷积神经网络，基于所述第二卷积神经网络的六个或六个以上的不同尺度，对所述三维代价体进行迭代处理，得到所述初始视差图。

6.根据权利要求4所述的系统，其特征在于，所述第一卷积神经网络和所述第二卷积神经网络相互级联；或者，

所述第一卷积神经网络和所述第二卷积神经网络共同组成卷积神经网络，所述第二卷积神经网络组成卷积神经网络的前级部分，所述第一卷积神经网络组成卷积神经网络的后级部分，所述第一卷积神经网络的分辨率大于所述第二卷积神经网络；或者，

所述第一卷积神经网络包括多个级联的子网络，所述第二卷积神经网络包括多个级联的子网络。

7.根据权利要求1所述的系统，其特征在于，所述目标视差图生成模块，包括：

目标视差图生成子模块，用于将所述初始视差图及所述残差相加，得到所述目标视差图。

8.一种视差图生成方法，其特征在于，包括

获取双目摄像头拍摄的主图及辅图；

基于所述主图及所述辅图，获取初始视差图；

将所述主图、所述辅图及所述初始视差图输入第一卷积神经网络，计算残差；

基于所述初始视差图及所述残差，生成目标视差图。

9.根据权利要求8所述的方法，其特征在于，所述基于所述主图及所述辅图，获取初始视差图，包括：

对所述主图和所述辅图进行校正，得到校正主图及校正辅图；

将所述校正主图及所述校正辅图输入第二卷积神经网络，获取所述初始视差图。

10.根据权利要求8所述的方法，其特征在于，所述将所述主图、所述辅图及所述初始视差图输入第一卷积神经网络，计算残差，包括：

基于所述主图、所述辅图和所述初始视差图，获取预估主图和误差图，所述预估主图为所述辅图与所述初始视差图的合成图像，所述误差图为所述主图与所述预估主图的误差图像；与

将所述主图、所述辅图、所述初始视差图、所述预估主图及所述误差图输入所述第一卷积神经网络，计算所述残差。