[发明专利]基于光场采集装置的图像超分辨率方法及装置

说明书

本发明公开了一种基于光场采集装置的图像超分辨率方法及装置，光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的多个USB摄像头以正方形的空间形式规则排布且围绕在相机周围，其中，方法包括：通过采集光场图像获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的多个侧视角低分辨率图像进行超分辨率；根据多张不同视角的光场图像之间的视差得到场景的深度信息。该方法可以通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，计算场景的深度，降低了制作成本，保证空间和角度分辨率的准确性。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于光场采集装置的图像超分辨率方法及装置。

背景技术

光场采集及其重建技术是计算机视觉领域中一个非常重要的问题，利用光场进行三维重建相比传统的三维重建方法有着极大的优势：对硬件资源的依赖小、很方便于PC上进行实时重建；适用性强，场景复杂程度对计算的复杂度没有影响。然而，使用三维扫描仪虽然可以进行高精度的三维重建，但其昂贵的设备价格和使用场合的局限性限制了实际的应用。光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。

相关技术中，光场采集装置主要有：使用相机阵列，最常见的有球形相机阵列和平面/直线相机阵列，一般需要使用几十个或者上百个相机布置在场景中的合适位置对同一场景进行同步的采集；使用镜头阵列，通过一次拍摄出场景不同景深的照片，能够实现场景的任意范围聚焦，并且这样的光场相机已经面世进入到商业应用领域，采集装置往往对相机的空间分辨率要求较高，因此高昂的硬件成本限制了其发展。

光场三维重建技术的核心问题之一是提高光场图像的分辨率。由于所采集的图像分辨率将直接影响场景深度的计算，因此，对所采集图像进行超分辨率将提高深度估计的精度以及三维重建的准确性。利用高分辨率图像信息可以对场景进行三维建模，在此基础上可以实现场景任意视点、任意光照的虚拟成像，以及图像分割、立体显示等非常有意义的应用。传统的光场图像超分辨率算法主要是基于多视点的字典学习方法，通过提取不同视点、不同分辨率图像中的字典信息，建立相互对应关系，利用高分辨率图像块加权相加的方式对低分辨率图像进行超分辨率。由于光场采集装置为了获取较大的角度分辨率，不同视角的图像往往视差比较大，这种情况下字典学习的方法不能够有效进行超分辨，造成鬼影、模糊等结果，这样大大制约了光场图像所携带信息的准确性，从而进一步影响后续场景重建的精度，有待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于光场采集装置的图像超分辨率方法，该方法可以大大的降低制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。

本发明的另一个目的在于提出一种基于光场采集装置的图像超分辨率装置。

为达到上述目的，本发明一方面实施例提出了一种基于光场采集装置的图像超分辨率方法，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述方法包括以下步骤：通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；根据多张不同视角的光场图像之间的视差得到场景的深度信息。

本发明实施例的基于光场采集装置的图像超分辨率方法，通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，可用于场景重建、大场景监控的情形，大大的降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。

另外，根据本发明上述实施例的基于光场采集装置的图像超分辨率方法还可以具有以下附加的技术特征：