[发明专利]图像处理设备及图像处理方法

说明书

技术领域

本发明涉及微透镜阵列的校准。

背景技术

传统上，在通过散焦的照相机拍摄了图像的情况下，需要在重新进行聚焦后重新拍摄图像。另外，当以不同景深获得多个被摄体的聚焦图像时，需要在拍摄对焦的各被摄体的图像之前重新聚焦。

近年来，称为光场摄影的技术得以发展，该技术能够通过向光学系统添加新光学元件并且通过在稍后的图像处理中调节焦点位置（重新聚焦）来获取多视角的图像。

通过利用该技术，存在由于可以在摄像后进行聚焦因此可以通过图像处理对摄像时的聚焦失败进行补偿的优势。另外，还存在能够通过改变图像处理方法来从一个拍摄图像获得对图像中的任意被摄体聚焦的多个图像、并且因此能够削减图像的拍摄次数的优势。

在光场摄影中，针对空间中的多个位置，由多视角图像数据来计算通过各位置或光场（在下文中，称为“LF”）的光束的方向及强度。然后，假设光通过虚拟光学系统并且在虚拟传感器上形成图像，通过使用获得的LF的信息来拍摄图像。通过适当地设置这种虚拟光学系统及虚拟传感器，使得能够进行前述的重新聚焦。作为用于获取LF的摄像设备，已知全光照相机（Plenoptic Camera）（例如，如日本专利特开2009-124213号公报中所描述），其中微透镜阵列被置于主透镜以及并排布置有小型照相机的照相机阵列之后。能够通过拍摄单个图像来获得其中以不同视角来拍摄被摄体的图像的多视角图像。还能够将光场摄影代表作为对在虚拟光学条件下虚拟传感器由多视角图像数据获取的图像的计算。在下文中，计算由虚拟传感器获取的图像的处理称为“重新聚焦处理”。在重新聚焦处理中，已知对获取的多视角图像数据进行在虚拟传感器上的投影变换，并且对所述图像数据相加并平均（例如，如WO2008050904中所公开的）。

在重新聚焦处理中，利用与虚拟传感器上的像素的位置对应的多视角图像的像素来计算该虚拟传感器上的像素的值。通常，虚拟传感器的一个像素对应于多视角图像的多个像素。因此，如果微透镜阵列的安装位置偏离基准位置（设计值），则通过计算获得的虚拟传感器上的像素不同于多视角图像的像素，并且通过重新聚焦处理获得的图像的清晰度下降。为了解决这种问题，通过多视角图像数据的计算来获得微透镜阵列中的微透镜之间的偏移量的方法是有必要的（例如，如日本专利特开2003-141529号公报中所公开的）。具体地，该方法是通过进行经由各微透镜获得的各图像数据的关联操作来计算微透镜之间的偏移量的方法。

通过日本专利特开2003-141529号公报中提出的技术，能够获得经由各微透镜获得的各图像数据之间的相对偏移量，但是无法获得微透镜阵列的安装位置与设计值的偏差。因此，不能够提供以期望被摄体距离精确地重新聚焦的图像。

发明内容

根据本发明的图像处理设备，其特征在于包括图像数据获取单元，其被构造为获取由摄像设备获得的校准图像数据，所述摄像设备包括被构造为调节入射光量的光圈、具有多个透镜的透镜阵列、以及被构造为经由所述透镜阵列光电转换被摄体的图像的图像感测元件；其中根据校准所述透镜阵列的指令在缩小所述光圈的状态下获得所述图像；以及被构造为基于所述校准图像数据获取对应于所述多个透镜的各个的所述图像感测元件上的图像的位置的单元。

根据本发明，能够以高精度获得微透镜阵列（为了方便起见，不考虑各透镜的大小而称为“微透镜阵列”）中的各微透镜的位置与设计值的偏差。另外，在存在偏差的情况下，能够通过在重新聚焦处理时考虑偏差量以在期望的焦点位置获得模糊被抑制的重新聚焦图像。

根据以下参照附图对实施例的描述，本发明的其他特征将变得清楚。以下描述的本发明的各实施例可以被单独实现，如有必要或者在来自各个实施例的特征或组件在单个实施例中有益的情况下可以被实现为多个实施例或其特征的组合。

附图说明

图1是示出根据第一实施例的摄像设备的内部结构的框图；

图2是示出摄像单元的内部结构的图；

图3是示出通常摄像光学系统的结构的图；

图4是示出与通常摄像光学系统相关联的摄像单元的结构的图；

图5A是示意性地示出在光圈完全打开的状态下拍摄均匀被摄体的图像的情况下传感器中记录的被摄体图像的图，图5B是示意性地示出在光圈缩小的状态下拍摄相同被摄体的图像的情况下传感器中记录的被摄体图像的图；

图6A至图6C是示出在光圈完全打开的状态下拍摄均匀面光源的图像的情况下传感器上的拍摄图像的图；

图7A至图7C是示出在光圈缩小的状态下拍摄均匀面光源的图像的情况下传感器上的拍摄图像的图；