[发明专利]图像处理装置及图像处理方法

说明书

技术领域

本发明特别涉及基于从单一的视点拍摄的多张图像计测场景的进深的图像处理装置及图像处理方法。

背景技术

提出了用来以非接触的方式计测某3维场景的进深、即到各被摄体的距离的各种方法。这些方法大致分为主动的方法和被动的方法。主动的方法是将红外线、超声波或激光等照射在被摄体上、基于到反射波返回来为止的时间或反射波的角度等计算到被摄体的距离的方法。被动的方法是基于被摄体的像计算距离的方法。尤其在使用摄像机计测到被摄体的距离的情况下，广泛地使用不需要用来照射红外线等的装置的被动的方法。

被动的方法也提出了许多方法，作为其中之一，提出了基于因焦点的变化而产生的模糊来计测距离的称作Depth from Defocus(散焦测距，以下记为DFD)的方法。DFD具有不需要多个摄像机、能够根据少量的图像进行距离计测等的特征。

DFD是利用图像的模糊来计测距离的方法，但是存在很难根据拍摄的图像自身判断在拍摄的图像中存在的模糊是因透镜的焦点的变化而产生的、还是表示没有由透镜引起的模糊的状态的原图像原本具有模糊的纹理的问题。

对此，在专利文献1所记载的方法中，通过将多个摄像图像间的空间频谱之比和与场景的进深对应的模糊的空间频谱之比较，进行不依存于原图像的频谱成分的距离计测。

另一方面，在专利文献2所记载的方法中，一边改变焦点一边拍摄许多图像，并仅将它们的对焦部分取出，由此得到相当于原图像的参照图像。构成对该参照图像卷积各种模糊的尺度空间(Scale Space)，通过在尺度空间上将参照图像与摄像图像比较，来进行距离计测。即，通过将参照图像的模糊的程度与摄像图像的模糊的程度比较来进行距离计测。

先行技术文献

专利文献

专利文献1：日本专利第2963990号公报

专利文献2：美国专利申请公开第2007/0019883号说明书

非专利文献

非专利文献1：H.Nagahara，S.Kuthirummal，C.Zhou，S.K.Nayer，“Flexible Depth of Field Photography”，European Conference on Computer Vision(ECCV)，Oct，2008

发明概要

发明要解决的问题

但是，在专利文献1所记载的方法中，为了使计测变得容易而对光学系统的开口部插入特殊的构造的掩模，进行在模糊的空间频谱中周期性地出现零点等的构造化。但是，因此而存在入射光量减少的问题，为了补偿它，需要提高摄像元件的灵敏度或延长曝光时间。但是，前者导致摄像图像的噪声的增大，后者导致被摄体变模糊，因此被摄体的波谱成分变得紊乱，距离计测的精度下降。

另一方面，在专利文献2所记载的方法中，只要不将光圈大幅缩小，则图像的景深的幅度比进行距离计测的范围非常窄，所以为了得到参照图像需要拍摄很多图像。这抵消了DFD的能够通过少量的图像进行距离计测的优点。除此以外，通过将光圈大幅缩小，能够从较少的张数的图像得到参照图像，但由于入射光量下降，所以存在与专利文献1所记载的方法相同的问题。

发明内容

本发明是鉴于上述问题而做出的，目的是提供一种能够从较少的张数的摄像图像稳定地进行距离计测的图像处理装置及图像处理方法。

有关本发明的一技术方案的图像处理装置，具备：摄像部，摄像图像；对焦范围控制部，对上述摄像部的摄像元件或聚焦透镜进行控制，由此使摄像的图像的对焦位置及景深扩展；以及距离计测部，根据由受到上述对焦范围控制部的控制的上述摄像部摄像的、分别具有不同的对焦范围的n张(其中，n≥2)图像的模糊的程度，计测到被摄体的距离。

根据这样的结构，由于不需要向光路上插入掩模或缩小光圈，不会导致光量的下降，所以能够根据较少的张数的摄像图像稳定地进行距离计测。

此外，其特征也可以是，上述对焦范围控制部对在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。

根据这样的结构，景深扩展移动焦点的量，能够以较少的张数进行较大的范围的距离计测。

此外，也可以是，上述摄像部包括位于从上述被摄体到上述摄像部的光路上的、对光线的波阵面进行调制的波阵面调制元件、或者由上述摄像部摄像的上述图像的对焦范围大致连续的具有多个焦点的多焦点透镜。

根据这样的结构，不移动焦点就能够得到同样的效果。