[发明专利]具有重构图像的功能的装置及方法

说明书

本申请主张以2011年3月31日提出的日本特愿2011-080746为基础的优先权，并将该基础申请的内容全部援引于此。

技术领域

本发明涉及重构图像的技术。

背景技术

拍摄将基于图22所示这种的主透镜LM的被摄体的成像通过多个微透镜的排列(以下称为微透镜阵列)LA₁₁再次成像后的图像(以下称为透镜阵列图像)的相机，已经公开在日本特表2009-532993号公报中。

另外，公知一种下述技术：在使主透镜LM的焦点对焦于相距被指定的距离的面的状态下(即、在事后聚焦的状态下)，根据1枚透镜阵列图像来重构在主透镜LM成像的被摄体的图像OB。

在该技术中，在由构成被重构的图像(以下称为重构图像)OB的像素发出光的情况下，通过确定该光到达摄像元件面IE的多个到达点，并积分针对确定的多个到达点分别存在的摄像元件所对应的透镜阵列图像的像素值，由此确定重构图像OB的像素值。

在此，在日本特表2009-532993号公报的通过构成相机的微透镜阵列LA₁₁成像的各个图像中，会产生与微透镜的透镜间距2dr等相应的视差。因为该视差使得图像OB的重构所需的像素会从透镜阵列图像中遗漏(即、发生像素遗漏)，因而存在着如图23的Nz部所示那样的图像的明暗周期性变化的噪声发生在重构图像OB中的问题。

发明内容

本发明的第1观点涉及一种图像重构装置，其具备：

图像信息取得单元，其取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第1副透镜和第2副透镜的多个副透镜；

插补单元，其基于构成由取得的所述信息表示的透镜阵列图像的第1副图像和第2副图像，在使所述第1副图像成像的第1副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；

距离信息取得单元，其取得表示到所述主透镜对焦的位置的距离的距离信息；

重构单元，其将插补后的所述第3副图像和由取得的所述信息表示出的第1副图像、第2副图像重构成：通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和

图像信息输出单元，其输出表示重构后的所述图像的信息。

本发明的第2观点涉及一种图像重构方法，包括下述步骤：

取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第1副透镜和第2副透镜的多个副透镜；

基于构成由取得的所述信息表示的透镜阵列图像的第1副图像和第2副图像，在使所述第1副图像成像的第1副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；

取得表示到所述主透镜对焦的位置为止的距离的距离信息；

将插补后的所述第3副图像和由取得的所述信息表示的第1副图像、第2副图像重构成：通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和

输出表示重构后的所述图像的信息。

附图说明

结合以下附图考虑以下详细记述，可获得本申请的更深刻的理解。

图1A、图1B是表示搭载了图像重构装置的数码相机的图。

图2是表示数码相机所具有的透镜阵列的图。

图3是表示光场(light field)图像的图。

图4A、图4B是表示图像重构处理的流程图。

图5A是表示图像重构装置所具有的功能的图。

图5B是表示插补部所具有的功能的图。

图6是表示核平面(epipolar plane)的一例的图。

图7是表示核图像ES生成处理的流程图。

图8A是表示核图像ES的图。

图8B是表示核图像ET的图。

图9是表示光场图像中的核面上的像素行的图。

图10是详细表示核图像ES_mk的图。

图11是表示被插补的透镜阵列的图。

图12是表示被插补的光场图像的图。

图13是表示插补核图像CES_mk的图。

图14是表示角度S推定处理的流程图。

图15是表示推定角度S表格的图。