[发明专利]图像拾取装置

说明书

相关申请的交叉引用 

本发明包括涉及于2007年11月12日在日本专利局提交的日本专利申请JP 2007-292843的主题，该申请的完整内容通过引用合并于此。 

技术领域

本发明涉及使用微镜头阵列的图像拾取装置。 

背景技术

目前已提出并且开发了各种图像拾取装置。此外，已提出了设计用以关于通过拾取图像而获得的已拾取图像数据执行预定的图像处理并且输出被处理的已拾取图像数据的图像拾取装置。 

例如，在PCT日本翻译专利公开号06/039486以及“Light Fieldphotography with a Hand-Held Plenoptic Camera”(Ren.Ng等人所著，斯坦福技术报告CTSR2005-02)之中提出了使用称之为“光场摄影(Light FieldPhotography)”的方法的图像拾取装置。该图像拾取装置包括：图像拾取镜头，其为用于拾取景物(shooting subject)的图像的主镜头；孔径光阑；微镜头阵列，在其之中排列着多个微镜头；感光器；以及图像处理单元。从感光器获得的已拾取图像数据包括与该感光器的接收表面所接收的光的亮度分布(intensity distribution)有关的信息，以及与光线传播方向有关的信息。图像处理单元被设计用来能够重构对于任意视场(field of view)或任意焦距获得的图像或3D图像。 

此外，在使用图像拾取装置来获得彩色图像的情况下，通常，将滤色器添加到图像拾取元件上。例如，如美国专利号3971065中所公开的那样，经常使用拜尔(Bayer)滤色器作为这种滤色器，在拜尔滤色器中，三原色(primary color)红(R)、绿(G)、蓝(B)以R:G:B＝1:2:1的比例、以马赛克模式(mosaic patttern)排列。

发明内容

在使用已穿过不同色彩的滤色器且由图像拾取元件所接收的光线而获得的已拾取图像数据中，对于每一种色彩，色彩的像素数据的片段在空间上都被稀疏(thin out)。因此，有必要对每一种色彩实施诸如所谓的去马赛克(demosaic)处理之类的内插处理，使得以使用色彩的像素数据来在空间上填充已拾取图像数据的状态获得色彩的已拾取图像数据。 

这里，在上述称之为“光场摄影”的技术中，由于已拾取图像数据除了包括与光的亮度分布有关的信息之外，还包括与光传播方向有关的信息，因此将光线彼此之间分离并且检测它们是重要的。然而，在这种技术中，当使用上述的这种滤色器来获得彩色图像时，如果在已拾取图像数据中的相邻像素之间执行诸如去马赛克处理之类的色彩内插处理，那么由于相邻像素之间的光向量不同，可能会发生下列问题。 

例如，如果拾取引起光的方向性的对象的图像，那么使用具有不同的光的亮度分布的像素的数据来执行内插处理，因此未获得正确的光的亮度分布。此外，由于来自不同位置(对象)的光线穿过偏离焦点(out of focus)位置处的散焦表面，因而未执行恰当的色彩内插处理。进一步，当执行该技术所特有的焦距调整时，由于光向量在相邻像素之间混合，因此关于图像的焦距精确度降低。 

此外，在图像拾取元件所接收的已拾取图像数据中，对于每个微镜头，响应于孔径光阑的光圈的形状而形成景物的图像。因此，多个圆形图像以两维的方式排列在已拾取图像数据中。当关于这种已拾取图像数据执行色彩内插处理时，使用与这些微镜头之一所形成的图像的边缘(外部部分)相对应的像素以及与这些微镜头中的另一个所形成的图像的边缘(外部部分)相对应的像素而未能执行恰当的色彩内插处理。 

于是，当关于图像拾取元件获得的已拾取图像数据执行相邻像素之间的诸如去马赛克处理之类的色彩内插处理时，由于上述问题，因而在重构的图像中可能发生亮度偏差，或可能丢失色彩平衡。 

提出了根据上述问题的本发明。期望提供尤其当使用所获得的以使得包括与光线传播方向有关的信息的已拾取图像数据来获得彩色图像之时能够执行恰当的内插处理的图像拾取装置。 

根据本发明的实施例的图像拾取装置包括下列元件(A)～(D)，

(A)图像拾取镜头，其具有孔径光阑， 

(B)图像拾取元件，其具有以预定单元阵列为单元、周期性地给其分配多种色彩的滤色器，并且其使用已接收到的光来生成包括多种色彩的像素数据的已拾取图像数据，该滤色器相邻光接收表面， 

(C)微镜头阵列单元，其排列在图像拾取镜头的成像表面上，并且将图像拾取元件的多个像素分配给其每个微镜头，以及