[发明专利]一种基于深度交互学习的立体图像超分辨率重建方法

说明书

本发明公开了一种基于深度交互学习的立体图像超分辨率重建方法，所述方法包括：将输入的左右视图，分为左右两支路通过空间特征提取到相应的空间特征表达；通过交互部分提取另一视点中的互补信息用于增强左右视图的空间特征表达；使用均方误差损失函数、梯度损失函数和视差损失函数共同构建多损失函数机制，用于提升立体图像的超分辨率重建质量；训练基于深度交互学习的立体图像超分辨率重建网络。本发明利用深度学习的特征表达能力，通过挖掘立体图像中的互补信息来获取左右视图的空间相关性和视点间相关性。

技术领域

本发明涉及深度学习、图像超分辨率重建领域，尤其涉及一种基于深度交互学习的立体图像超分辨率重建方法。

背景技术

超分辨率重建作为一个基本的图像处理技术，已经吸引了越来越多的学者进行广泛地研究。超分辨率重建的目的是预测低分辨率图像中缺失的高频信息，以此来提高低分辨率图像的分辨率。由于超分辨率重建可以恢复图像中的纹理细节，它可以被运用到很多图像处理任务中，比如图像恢复、图像增强和图像压缩等。此外，超分辨率重建也促进了多种计算机视觉任务的发展，比如视频监控、行人检测和遥感图像处理等。根据所处理数据的不同，超分辨率重建任务可以分类为单图超分辨率重建、立体图像超分辨率重建和视频超分辨率重建。

立体图像可以提供场景的深度信息，因此人类视觉系统在观看一对立体图像时，可以获得生动的3D感知。为了重建高分辨率的立体图像，简单的解决方案是使用单图超分辨率重建算法分别处理左右视图，但这样做会破坏左右视图间的立体关系。因此，如何有效探索视点间的互补信息以提高立体图像超分辨率重建的性能具有重要的研究意义。

得益于深度学习在监督学习任务中的成功，近年来基于深度学习的立体图像超分辨率重建方法开始受到关注。Jeon等人提出了StereoSR(立体超分)方法，通过学习视差先验来获得低分辨率图像到高分辨率图像的端到端映射。Wang等人提出PASSRnet(视差注意力立体超分网络)方法，通过使用视差注意力机制获取全局一致性。Song等人提出了SPAM(自视差注意力机制)方法，同时获取自注意力图和视差注意力图。

然而，对于场景中的某一具体位置，低分辨率的左右视图缺失的细节信息可能是不同的。这种差异使得立体图像可以提供更多的互补信息来帮助重建高分辨率图像。现有的方法大多基于视差学习全局一致性关系，忽略了互补信息中包含的空间相关性和视点间相关性。

发明内容

本发明主要研究立体图像超分辨率重建，本发明利用深度学习的特征表达能力，通过挖掘立体图像中的互补信息来获取左右视图的空间相关性和视点间相关性，提出基于深度交互学习的立体图像超分辨率重建方法，详见下文描述：

一种基于深度交互学习的立体图像超分辨率重建方法，所述方法包括：

将输入的左右视图，分为左右两支路通过空间特征提取到相应的空间特征表达；

通过交互部分提取另一视点中的互补信息用于增强左右视图的空间特征表达；

使用均方误差损失函数、梯度损失函数和视差损失函数共同构建多损失函数机制，用于提升立体图像的超分辨率重建质量；

训练基于深度交互学习的立体图像超分辨率重建网络。

优选地，左右两支路的空间特征提取中的卷积层共享参数。

其中，所述交互部分由串联的一系列交互单元组成，每一个交互单元由四个门控组成，分别为滤波门、重置门、筛选门和更新门。

进一步地，所述滤波门用于减弱视点的空间不对齐，即滤波后的视点特征等于视点特征与卷积层的卷积。

其中，所述重置门用于控制当前视点对另一视点产生的影响，由一层卷积层和一层激活层组成；

左视点特征和右视点滤波后的特征级联，通过重置门得到特征r，特征r和右视点滤波后的特征f_r'做点积计算得到候选集c。