[发明专利]图像处理设备、图像捕捉装置和图像处理方法

说明书

技术领域

本发明涉及用于从多个捕捉到的图像获得深度信息图像的图像处理设备和图像捕捉装置，其中深度信息图像代表关于对象的深度信息的分布。本发明还涉及用于从多个捕捉到的图像获得深度信息图像的图像处理方法，其中深度信息图像代表关于对象的深度信息的分布。

背景技术

日本专利特开No.01-167610描述一种通过使用由图像捕捉装置捕捉到的对象的两维图像来获得在深度方向上到对象的距离的“散焦测距”(depth from defocus，DFD)方法。在DFD方法中，通过控制图像捕捉光学系统的拍摄条件(也称为拍摄参数)，获得具有不同模糊度的多个图像。然后，通过使用距离测量像素和周围像素来计算多个图像的尺寸或模糊度之间的相关性。尺寸或模糊度之间的相关性根据从图像捕捉光学系统的焦点位置到对象的距离而变。因此，从图像捕捉光学系统的焦点位置到对象的距离可以通过使用该相关性获得。

日本专利特开No.2010-016743描述一种通过使用模糊相关性来计算对象距离的距离测量装置，其中模糊相关性是通过使用DFD方法对要处理的每个区域计算的。距离测量装置为要处理的区域中的每个像素设置用于模糊相关性的权重系数并且通过使用权重系数来计算模糊相关性的加权平均。

一般而言，图像捕捉装置的图像捕捉光学系统具有轴上色差，并且因此焦点位置在颜色(波长)之间不同。因此，在深度信息通过使用尺寸或模糊度之间的相关性来计算的情况下，计算出的深度信息具有由于颜色(波长)造成的误差。换句话说，当深度信息是利用彩色图像通过使用DFD方法或类似方法计算的时，由于颜色(波长)造成的距离测量误差发生。

日本专利特开No.01-167610和日本专利特开No.2010-016743没有描述由于颜色(波长)造成的深度信息的误差的发生。

本发明提供利用彩色图像通过使用DFD方法以高精度获得关于对象的深度信息的技术。

发明内容

根据本发明的一方面，提供一种基于具有不同模糊度的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像的图像处理设备，第一图像和第二图像是由包括多个组的图像传感器捕捉的，每个组包括获得关于对象的不同颜色信息的多个像素。该图像处理设备包括：提取单元，从所述多个组提取信号，每个信号对应于每个组中的多个像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；和计算单元，根据第一被提取图像和第二被提取图像之间的模糊度的差来计算深度信息图像。每个对应于每个组中的多个像素中的一个像素并且从所述多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。

根据本发明的另一方面，提供一种图像处理方法，包括：提取步骤，从图像传感器的多个组提取信号，每个信号对应于所述多个组的每个组中的多个像素中的一个像素，并且生成分别对应于由图像传感器捕捉并具有不同模糊度的第一图像和第二图像的第一被提取图像和第二被提取图像，所述多个像素获得关于对象的不同颜色信息；及计算步骤，根据第一被提取图像和第二被提取图像之间的模糊度的差来计算代表关于对象的深度信息的分布的深度信息图像。每个对应于每个组中的多个像素中的一个像素并且从多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。

参考附图，本发明的更多特征将从以下示例性实施例的描述变得清楚。

附图说明

图1是图示出根据第一实施例的包括图像处理设备的图像捕捉装置的例子的示意图。

图2A是根据第一实施例的图像传感器的部分示意图，图2B是图示出根据第一实施例的被选通道的被提取图像的例子的示意图。

图3是根据第一实施例的图像处理方法的例子的流程图。

图4是图示出根据第二实施例的包括图像处理设备的图像捕捉装置的例子的示意图。

图5是根据第二实施例的图像处理方法的例子的流程图。

图6A至6C图示出根据第二实施例的对应于被提取像素的信号的生成。

图7是图示出根据第三实施例的包括图像处理设备的图像捕捉装置的例子的示意图。

图8A和图8B图示出一般的图像捕捉光学系统的轴上色差和像面弯曲(field curvature)。

图9是根据第三实施例的图像处理方法的例子的流程图。

图10A是根据第三实施例的用于获得深度信息的校正数据的装置的示意图，图10B是获得深度信息的校正数据的方法的例子的流程图。

具体实施方式