[发明专利]一种高分辨率光场图片重建方法与成像装置

说明书

技术领域

本发明涉及图像处理技术领域，具体地说，本发明涉及一种高分辨率光场图片重建方法与成像装置。

背景技术

光场是一个4D函数，描述了穿过两个平面的所有光线的亮度(可参考文献Levoy M,Hanrahan P.Light field rendering[C]//Proceedings of the 23rd annual conference on Computer)。对于传统3D空间中的一点来说，传统数码图片上的一个像素点只能记录所有经过该点光线的积分强度。不同于传统数码图片，光场图片可以分别记录穿过同一点的多条光线。利用光场图片记录的光场数据，我们可以观察到不同视角和不同焦距下的图片。最近几年，已经出现了一些光场相机。光场相机是一种可以捕捉光场数据的设备。现有的光场相机可以分为三类：(a)相机阵列；(b)基于微透镜阵列的光场相机(可参考文献Ng R,Levoy M,Brédif M,et al.Light field photography with a hand-held plenoptic camera[J].Computer Science Technical Report CSTR,2005,2(11).)；(c)可编程孔径相机。这些光场相机中，主流产品是基于微透镜阵列的光场相机，最近几年，这个领域已经出现了一些商业产品，比如Lytro和Raytrix光场相机。

然而，为了获得足够的角分辨率，光场相机牺牲了相当一部分空间分辨率，因此拍摄得到的光场图片空间分辨率比传统相机低很多。同时，光场相机所拍摄的光场图片的角分辨率和空间分辨率之间存在一种逆关系。比如，Lytro是光场相机的第一个商业产品，它的图像传感器原本是1400万像素，但是因为微透镜阵列每个宏像素记录了121条光线，此时角分辨率为121，导致空间分辨率降为10万。而与此同时，采用同一图像传感器的传统数码相机的空间分辨率仍为1400万。也就是说，在给定同等分辨率的图像传感器时，光场相机所拍摄图片的空间分辨率远远小于传统相机。

现有技术中，为了改善光场图片的空间分辨率，人们提出了很多超分辨率算法。文献Bishop T E,Zanetti S,Favaro P.Light field superresolution[C]//Computational Photography(ICCP),2009提出了一种图像生成过程模型，它利用传感器和文本统计的先验条件，基于一种贝叶斯理论的框架模型，来得到高分辨率光场，这种改善光场图片的空间分辨率的算法可称为Bishop算法。文献Mitra K,Veeraraghavan A.Light field denoising,light field superresolution and stereo camera based refocussing using a gmm light field patch prior[C]//Computer Vision and Pattern Recognition Workshops(CVPRW),2012 IEEE Computer Society Conference on.IEEE,2012:22-28提出了一种针对光场的高斯混合先验模型，该模型中，对图像中的每一个块估计了差异值，然后使用LMMSE估计算法，重建出高分辨率块。这种改善光场图片空间分辨率的算法可称为Mitra算法。文献Boominathan V,Mitra K,Veeraraghavan A.Improving resolution and depth-of-field of light field cameras using a hybrid imaging system[C]//Computational Photography(ICCP),2014 IEEE International Conference on.IEEE,2014:1-10.提出了一种混合成像系统，它通过使用一种基于块的简单算法，来重建超分辨光场视角，下文中将这种混合成像系统所采用的超分辨光场视角重建算法(即超分辨率算法)称为Boominathan算法。

上述几种超分辨率算法都能够改善光场图片的空间分辨率，然而，它们的计算复杂度都较高，时间开销大，并且它们只专注于光场成像的后处理阶段的改进，因此有很多的局限性。

发明内容

因此，本发明的任务是提供一种低复杂度的改善光场图片的空间分辨率的解决方案。

本发明提供了一种高分辨率光场图片重建方法，包括：