[发明专利]图像处理设备、摄像设备和图像处理方法

说明书

技术领域

本发明涉及图像处理设备和图像处理方法，尤其涉及用于获取来自多个视点的所拍摄图像的技术。

背景技术

已经提出了用于获取来自多个视点的所拍摄图像的摄像设备(例如，Aaron Isaksen et al.“Dynamically Reparameterized Light Fields”，Proc.ACM.SIGGRAPH，pp.297-306，2000)。该摄像设备包括多个摄像单元。各摄像单元拍摄图像，从而获取来自多个视点的所拍摄图像。在摄像之后，合成所拍摄图像以生成包含与离被摄体上的基准视点的距离相对应的模糊的图像(以下称为模糊图像)、具有高空间频率的图像或具有宽动态范围的图像等。特别地，模糊图像生成具有通过模糊背景而使主被摄体突出的效果并用于拍摄人的照片。以下将这种拍摄来自多个视点的图像的摄像设备称为多眼照相机。

多眼照相机包括与摄像单元的数量一样多的镜头。为此，用户很可能利用被他/她的手指覆盖的镜头进行拍摄。以下将利用用户的手指覆盖镜头称为“手指覆盖”。如果通过多眼照相机所获得的所拍摄图像组包括具有手指覆盖等的缺陷的图像，则图像合成可能失败，或者精度可能降低。

为了防止这个问题，提出了用于通过突出显示来向用户通知检测到多眼照相机上的手指覆盖的技术(例如，日本特开2010-114760)。然而，用户可能忽略通知并在不移除手指的情况下进行拍摄。

发明内容

做出本发明以解决上述问题，本发明提供以下技术：在用于获取来自多个视点的所拍摄图像的摄像设备中，即使所拍摄图像组包括具有缺陷的图像，也生成维持模糊的对称性的模糊图像。

根据本发明的一个方面，一种图像处理设备，包括：获取单元，用于获取通过用于从不同视点拍摄被摄体的多个摄像单元所拍摄的多个所拍摄图像；指定单元，用于从所述多个所拍摄图像中指定缺陷图像；确定单元，用于基于拍摄到所述指定单元所指定的缺陷图像的摄像单元的位置来确定针对各所拍摄图像的权重；以及合成单元，用于通过基于所述确定单元所确定的权重对所述多个所拍摄图像进行加权和合成来生成合成图像。

根据本发明的另一方面，一种摄像设备，包括：上述的图像处理设备；以及多个摄像单元，用于从不同视点拍摄被摄体。

根据本发明的又一方面，一种图像处理方法，包括以下步骤：获取通过用于从不同视点拍摄被摄体的多个摄像单元所拍摄的多个所拍摄图像；指定步骤，用于从所述多个所拍摄图像中指定缺陷图像；确定步骤，用于基于拍摄到所述指定步骤中所指定的缺陷图像的摄像单元的位置来确定针对各所拍摄图像的权重；以及通过基于所述确定步骤中所确定的权重对所述多个所拍摄图像进行加权和合成来生成合成图像。

根据本发明，提供以下技术：在用于获取来自多个视点的所拍摄图像的摄像设备中，即使所拍摄图像组包括具有缺陷的图像，也生成维持模糊的对称性的模糊图像。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明实施例的摄像设备(多眼照相机)的外观的图；

图2是示出多眼照相机的配置的框图；

图3是示出多眼照相机的各摄像单元的配置的框图；

图4是示出数字信号处理单元的处理的框图；

图5是示出图像合成单元的配置的框图；

图6是示意性示出手指覆盖的例子的图；

图7是示出模糊图像生成单元的配置的框图；

图8是示出图像合成处理的流程图；

图9是示意性示出基准视点和所拍摄图像的视点之间的距离关系的图；

图10是示出权重设置处理的流程图；

图11是示意性示出穿过基准视点的对称轴和摄像单元的图；

图12是示意性示出被摄体和各摄像单元的传感器之间的位置关系的图；

图13是示出所拍摄图像重叠处理的流程图；

图14是示出根据第二实施例的图像合成单元的配置的框图；

图15是示出根据第二实施例的图像合成处理的流程图；

图16A和16B是示意性示出根据第二实施例的重要摄像单元组的例子的图；

图17A和17B是示意性示出根据第二实施例的重要摄像单元组和基准视点的图；

图18是示出根据第三实施例的权重调整数据库的例子的图；

图19是示意性示出根据第三实施例的权重调整摄像单元的图；以及