[发明专利]一种视差图生成系统、方法及存储介质

说明书

本申请提供了一种视差图生成系统和一种视差图生成方法。所述方法包括：获取双目摄像头拍摄的主图及辅图；基于所述主图及所述辅图，获取初始视差图；将所述主图、所述辅图及所述初始视差图输入第一卷积神经网络，计算残差；基于所述初始视差图及所述残差，生成目标视差图。

技术领域

本申请涉及图像处理技术领域，特别地，涉及一种视差图生成系统、方法及存储介质。

背景技术

视差图生成是计算机视觉领域的基本问题，视差图在许多领域有着重要的应用价值。例如，通过视差图生成计算出的视差图，可以在手机等移动终端上实现基于双摄像头的背景虚化处理，还可以在自动驾驶或辅助驾驶系统中计算道路及周边环境的深度信息。

当主图与辅图之间存在着自遮挡、无纹理区域及景深不连续等问题时，通过目前的视差图生成系统，计算得到的视差图存在过拟合的风险，导致视差图生成系统在物体边缘处的准确性较低。

发明内容

本申请的一个方面是关于一种视差图生成系统。所述系统包括图像获取模块、初始视差图获取模块、残差计算模块以及目标视差图生成模块；所述图像获取模块用于获取双目摄像头拍摄的主图及辅图；所述初始视差图获取模块用于基于所述主图及所述辅图，获取初始视差图；所述残差计算模块将所述主图、所述辅图及所述初始视差图输入第一卷积神经网络，计算残差；所述目标视差图生成模块用于基于所述初始视差图及所述残差，生成目标视差图。

在一些实施例中，所述视差图生成系统中，所述初始视差图获取模块，包括：校正子模块，用于对所述主图和所述辅图进行校正，得到校正主图及校正辅图；以及初始视差图获取子模块，用于将所述校正主图及所述校正附图输入第二卷积神经网络，获取所述初始视差图。

在一些实施例中，所述视差图生成系统中，所述残差计算模块，包括：图像处理子模块，用于基于所述主、所述辅图和所述初始视差图，获取预估主图和误差图，所述预估主图为所述辅图与所述初始视差图的合成图像，所述误差图为所述主图与所述预估主图的误差图像；以及残差计算子模块，用于将所述主图、所述辅图、所述初始视差图、所述预估主图及所述误差图输入所述第一卷积神经网络，计算所述残差。

在一些实施例中，所述视差图生成系统中，所述初始视差图获取模块，包括：三维代价体获取子模块，用于对所述主图和所述辅图进行相关性计算，得到三维代价体；以及三维代价体处理子模块，用于将所述三维代价体输入第二卷积神经网络，获取初始视差图。。

在一些实施例中，所述视差图生成系统中，所述初始视差图获取模块，包括：所述初始视差图获取子模块用于将所述三维代价体输入所述第二卷积神经网络，基于所述第二卷积神经网络的六个或六个以上的不同尺度，对所述三维代价体进行迭代处理，得到所述初始视差图。

在一些实施例中，所述视差图生成系统中，所述第一卷积神经网络和所述第二卷积神经网络相互级联；或者，所述第一卷积神经网络和所述第二卷积神经网络共同组成卷积神经网络，所述第二卷积神经网络组成卷积神经网络的前级部分，所述第一卷积神经网络组成卷积神经网络的后级部分，所述第一卷积神经网络的分辨率大于所述第二卷积神经网络；或者，所述第一卷积神经网络包括多个级联的子网络，所述第二卷积神经网络包括多个级联的子网络。

在一些实施例中，所述视差图生成系统中，所述目标视差图生成模块，包括：目标视差图生成子模块，用于将所述初始视差图及所述残差相加，得到所述目标视差图。

本申请的另一个方面是关于一种视差图生成的方法。所述方法可以在至少一个机器上执行，所述至少一个机器中的每一个机器可以具有至少一个处理器和一个存储器。所述方法可以包括以下操作中的一个或多个：获取双目摄像头拍摄的主图及辅图；基于所述主图及所述辅图，获取初始视差图；将所述主图、所述辅图及所述初始视差图输入第一卷积神经网络，计算残差；以及基于所述初始视差图及所述残差，生成目标视差图。