[发明专利]图像处理装置、摄像装置及图像处理方法

说明书

技术领域

本发明涉及使用从相互不同的视点拍摄的第1图像和第2图像生成深度数据的图像处理装置、摄像装置及图像处理方法。

背景技术

近年来，显示3D图像的3D显示器开始广泛普及。并且，拍摄向这样的3D显示器显示的3D图像的3D照相机的需求也增加。在通常的3D照相机中，使用两组透镜及传感器拍摄立体图像。

已知有使用通过这样的3D照相机拍摄的立体图像生成表示立体图像的进深的深度数据的方法。例如，通过在立体图像中按每个像素检测对应点，并计算对应点间的视差值，能够生成深度数据。并且，能够使用这样生成的深度数据对立体图像实施各种处理。

现有技术文献

专利文献

专利文献1：特表2007-520822号公报

发明概要

发明要解决的问题

但是，在上述以往的方法中，为了生成深度数据而需要按每个像素检测对应点，处理负荷变高。

对此，公开了按照通过将图像分割而得到的每个段、基于该段的大小分配进深值的方法（例如，参照专利文献1）。在专利文献1的方法中，越小的段分配越小的进深值。但是，并不一定段越小则与该段对应的被摄体越存在于近前。即，在专利文献1的方法中，在生成深度数据时，虽然能够减轻处理负荷，但深度数据的正确度大幅下降。

发明内容

所以，本发明提供一种在使用从相互不同的视点拍摄的第1图像和第2图像生成深度数据时，能够抑制深度数据的正确度的下降，并且减轻处理负荷的图像处理装置、摄像装置及图像处理方法。

用于解决问题的手段

有关本发明的一形态的图像处理装置，是利用从相互不同的视点拍摄的第1图像及第2图像生成深度数据的图像处理装置，具备：视差值计算部，针对作为上述第1图像内的一部分像素的多个代表像素中的各个代表像素，基于上述代表像素与对应于上述代表像素的上述第2图像内的像素的位置关系，计算上述代表像素的视差值；分段部，基于像素值的类似性，将上述第1图像分割为多个段；以及深度数据生成部，按每个段，基于上述段中包含的代表像素的视差值确定上述段的视差值，从而生成表示与各段对应的进深的深度数据。

另外，这些总括性的或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM（Compact Disc Read Only Memory）等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

根据有关本发明的一形态的图像处理装置，当使用从相互不同的视点拍摄的第1图像和第2图像生成深度数据时，能够抑制深度数据的正确度的下降，并且减轻处理负荷。

附图说明

图1是表示有关实施方式1的图像处理装置的功能结构的框图。

图2是表示有关实施方式1的图像处理装置的处理动作的流程图。

图3是用于说明有关实施方式1的图像处理装置的处理动作的图。

图4是表示有关实施方式2的图像处理装置的功能结构的框图。

图5是表示有关实施方式2的图像处理装置的处理动作的流程图。

图6是表示有关实施方式2的校准处理的概要的图。

图7是用于说明有关实施方式2的校准处理的一例的图。

图8是表示有关实施方式2的分段的详细情况的流程图。

图9是用于说明有关实施方式2的分段的图。

图10是用于说明有关实施方式2的分段的图。

图11是表示有关实施方式2的分段结果的一例的图。

图12是表示有关实施方式2的段结合处理的详细情况的流程图。

图13是用于说明有关实施方式2的段结合处理的图。

图14是表示有关实施方式2的变形例的深度数据生成处理的详细情况的流程图。

图15是表示有关一实施方式的摄像装置的结构的框图。

具体实施方式

有关本发明的一形态的图像处理装置，是利用从相互不同的视点拍摄的第1图像及第2图像生成深度数据的图像处理装置，具备：视差值计算部，对作为上述第1图像内的一部分像素的多个代表像素中的各个代表像素，基于上述代表像素与对应于上述代表像素的上述第2图像内的像素的位置关系，计算上述代表像素的视差值；分段部，基于像素值的类似性，将上述第1图像分割为多个段；以及深度数据生成部，按每个段，基于上述段中包含的代表像素的视差值确定上述段的视差值，从而生成表示与各段对应的进深的深度数据。