[发明专利]具有重构图像的功能的装置以及方法

说明书

本申请主张以在2011年3月24日所申请的日本专利申请特愿2011-066698为基础的优先权，并将该基础申请的全部内容引入本申请。

技术领域

本发明涉及重构图像的技术。

背景技术

在JP特表2009-532993号公报中公开了取入关于入射光线的方向分布(direction distribution)的信息的摄像装置，即被称作“全光(plenoptic)相机”的摄像装置。

在全光相机的光学系统中，在现有的摄像透镜(以下，称为“主透镜”)和摄像元件之间，插入有纵横地连续重复配置了极小的透镜(以下，称为“微透镜”)的复眼状的透镜阵列(以下，称为“微透镜阵列”)。

构成微透镜阵列的各个微透镜将由主透镜会聚的光根据其到达的角度来分配到摄像元件内的多个像素。

即，若将通过各个微透镜的每一个而聚光于摄像元件的像在以下称作“子图像(sub image)”，则由多个子图像的集合体构成的图像的数据作为摄像图像的数据而从摄像元件输出。

此外，以下，将这样的全光相机的摄像图像，即由多个子图像的集合体构成的图像称为“光场(light field)图像”。

如此，光场图像通过不仅由经由现有的主透镜、还由经由微透镜阵列而入射的光生成。因此，光场图像当然具有现有的摄像图像中也含有的二维的空间信息，还具有作为现有的摄像图像中未包含的信息的、表示从摄像元件来看是从哪一个方向到达的光线的二维的方向信息。

因此，在利用这样的二维方向信息来拍摄光场图像后，全光相机能使用该光场图像的数据来重构在摄像时从前方离开任意的距离的面的像。

换言之，全光相机即使在规定距离未对焦而拍摄了光场图像的情况下，也能在该摄像后通过使用该光场图像的数据，来自由地制作出如在该规定距离对焦而拍摄的那样的图像(以下，称为“重构图像”)的数据。

具体而言，全光相机将位于任意的距离的面上的1点设定为关注点，算出来自该关注点的光经由主透镜以及微透镜阵列而分配到摄像元件内的哪一个像素。

在此，例如，若摄像元件的各像素与构成光场图像的各像素对应，则全光相机对构成光场图像的各像素中的、分配来自该关注点的光的一个以上的像素的像素值进行积分。该积分值成为重构图像中的与关注点对应的像素的像素值。如此，重构重构图像中的与关注点对应的像素。

全光相机将构成重构图像的各像素(与位于任意距离的面上的各点对应的各像素)的每一个依次设定为关注点，并重复上述一系列处理，从而重构重构图像的数据(重构图像的各像素的像素值的集合体)。

发明内容

本发明的第1形态所涉及的图像处理装置具备：图像取得单元，其取得由在光学系统中具备主透镜、由微透镜(复数)构成的微透镜阵列以及摄像元件的摄像装置拍摄的光场图像，所述光场图像由通过所述微透镜(复数)的每一个而生成的子图像(复数)构成；

子图像生成单元，其生成基于所述光场图像中包含的子图像(复数)而插值的假想的子图像(单数)；和

重构图像生成单元，其使用由所述图像取得单元所取得的所述光场图像中所包含的子图像(复数)、以及由所述子图像生成单元所生成的所述假想的子图像(单数)，来生成距所述摄像装置规定位置的面的像，作为重构图像。

本发明的第2形态所涉及的图像处理方法，其是针对由在光学系统中具备主透镜、由微透镜(复数)构成的微透镜阵列以及摄像元件的摄像装置拍摄的光场图像，所述光场图像由通过所述微透镜(复数)的每一个而生成的子图像(复数)构成，由图像处理装置执行的图像处理的方法，所述图像处理方法包括以下步骤：

取得所述光场图像，

生成基于所述光场图像中包含的子图像(复数)而插值的假想的子图像(单数)，

使用所述光场图像中包含的子图像(复数)、以及所述假想的子图像(单数)，来生成距所述摄像装置规定位置的面的像，作为重构图像。

附图说明

若将以下的详细的描述配合以下的附图来考虑，则能对本申请得到更深的理解。

图1是表示本发明所涉及的图像处理装置的一个实施方式的摄像装置的硬件的构成的图。

图2是表示摄像装置所具有的光学系统的构成例的图。

图3A是表示比较通过摄像装置而得到的重构图像、与应用现有技术的情况下而得到的重构图像的图。

图3B是放大了光场图像的一部分的图。

图3C是表示3个插值光场图像的图。

图4是表示摄像装置的功能构成的图。