[发明专利]视差图的获取方法、装置、系统及存储介质

权利要求书

1.一种视差图的获取方法，其特征在于，包括：

接收图像采集设备获取的左图像和右图像；

通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理，得到对应的左特征图和右特征图；所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层；N为大于0的自然数；

对所述左特征图和所述右特征图进行融合处理，得到融合特征图；

通过第三卷积通道对所述融合特征图进行M次的卷积处理，得到目标融合特征图；所述第三卷积通道包含有M个卷积层，M为大于0的自然数；

通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；所述反卷积通道包括P个反卷积层；其中，P与N、M相关。

2.根据权利要求1所述的方法，其特征在于，对所述左特征图和所述右特征图进行融合处理，得到融合特征图，包括：

将所述右特征图像在极线方向上向右进行逐渐平移，并与所述左特征图像进行卷积处理，得到融合特征图；或者将所述左特征图像在极线方向上向左进行逐渐平移，并与所述右特征图像进行卷积处理，得到融合特征图。

3.根据权利要求1所述的方法，其特征在于，通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图，包括：

在每一次反卷积处理时，在所述反卷积通道对应的反卷积层中加入与所述反卷积层的分辨率相同的第一卷积通道的卷积层特征、第二卷积通道的卷积层特征，和/或第三通道的卷积层特征；

通过所述反卷积通道的P个反卷积层对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；其中，P＝N+M。

4.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：

对预设的训练集中的样本图像进行过滤，滤除视差超过预设阈值的样本图像，得到候选图像；所述候选图像中预先标注有左图像和右图像的视差标签；

选取反卷积通道的最后N层反卷积层，构建N个子损失函数，N为大于1的自然数；所述子损失函数是根据反卷积层生成的视差图与所述候选图像的视差标签中真实视差之间的误差确定的；

设置所述N个子损失函数的权重值；

基于所述N个子损失函数的权重值以及所述N个子损失函数，构建损失函数；

将损失函数作为约束条件，通过所述候选图像迭代训练所述第一卷积通道、第二卷积通道、第三卷积通道、反卷积通道。

5.一种视差图的获取装置，其特征在于，包括：

接收模块，用于接收图像采集设备获取的左图像和右图像；

第一卷积模块，用于通过第一卷积通道和第二卷积通道分别对所述左图像和所述右图像进行N次卷积处理，得到对应的左特征图和右特征图；所述第一卷积通道和所述第二卷积通道分别包含有N个卷积层；N为大于0的自然数；

融合模块，用于对所述左特征图和所述右特征图进行融合处理，得到融合特征图；

第二卷积模块，用于通过第三卷积通道对所述融合特征图进行M次的卷积处理，得到目标融合特征图；所述第三卷积通道包含有M个卷积层，M为大于0的自然数；

反卷积模块，用于通过反卷积通道对所述目标融合特征图进行P次反卷积处理，得到所述左图像和所述右图像的视差图；所述反卷积通道包括P个反卷积层；其中，P与N、M相关。

6.根据权利要求5所述的装置，其特征在于，所述融合模块，具体用于：

将所述右特征图像在极线方向上向右进行逐渐平移，并与所述左特征图像进行卷积处理，得到融合特征图；或者将所述左特征图像在极线方向上向左进行逐渐平移，并与所述右特征图像进行卷积处理，得到融合特征图。