[发明专利]基于光场采集装置的图像超分辨率方法及装置

权利要求书

1.一种基于光场采集装置的图像超分辨率方法，其特征在于，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述方法包括：

通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；

利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；以及

根据多张不同视角的光场图像之间的视差得到场景的深度信息；

其中，所述利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率，进一步包括：将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。

2.根据权利要求1所述的基于光场采集装置的图像超分辨率方法，其特征在于，通过以下公式得到每个位置对应的残差图像块：

其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ω_k为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。

3.根据权利要求2所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述最终超分辨率结果为：

其中，为重建的超分辨率图像块，HR为超分辨率，f_CNN(S^LR)为经过神经网络进行的图像块超分辨率，S^ERR为降采样前的图像相减得到残差图像，LR代表低分辨率。

4.根据权利要求1-3任一项所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述根据多张不同视角的光场图像之间的视差得到场景的深度信息，进一步包括：

获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；

根据所述边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；

通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；以及

根据各像素点的视差值生成视差图。

5.一种基于光场采集装置的图像超分辨率装置，其特征在于，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述装置包括：

采集模块，用于通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；

超分辨率模块，用于利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；以及

获取模块，用于根据多张不同视角的光场图像之间的视差得到场景的深度信息；

其中，所述超分辨率模块，进一步包括：计算单元，用于将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；提取单元，用于将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；第一获取单元，用于将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。