[发明专利]深度扩展装置

说明书

技术领域

本发明涉及一种将焦点位置不同的多个图像进行合成来扩展焦深的深度扩展装置。

背景技术

以往，为了加深观察系统的景深，一般以缩小亮度光圈(将F值变大)的方式来进行应对。但是，这种情况下成像出的图像变暗。并且，近年来的摄像元件为了实现小型化、多像素化而使像素间距变小。对于这种摄像元件，当缩小光圈时有时出现衍射的影响，因此不能使F值过大。

另外，还提出了如下方案：以具备聚焦功能的方式来构成观察光学系统，使得能够在广阔的景深范围内进行对焦。但是在该情况下，需要使透镜在观察光学系统内进行移动的空间，还需要驱动透镜的机构，因此观察光学系统大型化。因而，具备聚焦功能的观察光学系统未必适用于为了确保高插入性而谋求小型化、细径化的内窥镜。

与此相对地，关于将焦点位置不同的多个图像进行合成来扩展焦深的技术，提出了各种技术。

例如，在日本特开平11-32251号公报中记载了如下一种技术：通过包括双折射晶体的双焦点光学系统来获取焦点位置不同的多个图像，对这些不同焦点位置的图像的各像素的亮度进行比较选择并重新合成图像，来获得焦深深的图像。在此，该公报所记载的深度扩展图像的合成技术是对亮度进行比较并基于比较结果来选择多个图像中的某一个像素值的技术。

另外，在日本特开2001-344599号公报中记载了如下一种技术：在对焦点位置不同的多个图像进行合成之前，使各图像的亮度水平一致，来削减噪声。

并且，在日本特开2004-350070号公报中记载了如下一种图像处理装置，具有对通过单个摄影光学系统成像出的图像进行拍摄的多个摄像元件，来获得将由上述多个摄像元件拍摄到的多个图像数据进行合成而得到的图像，在该图像处理装置中具有控制单元，该控制单元根据摄影光学系统的工作条件来控制上述各摄像元件的位置，使得满足上述各摄像元件所形成的景深范围相邻或者略微重叠的条件。

此外，在日本特开平8-241396号公报中记载了如下一种技术：基于一边使对焦面在光轴方向上移动一边被累积地相加输入的图像成为将点像分布函数(PSF；Point Spread Function)投影到光轴方向而得到的响应函数与物体像的平行投影像的卷积这个原理，一边使对焦面在光轴方向上移动一边获取多个图像，基于对应于不同的对焦面的多个图像，沿着平行于光轴的断层面内在规定的角度方向上生成平行投影像。

另外，在日本特开2005-49646号公报、日本特开2006-208407号公报中记载了DFD式(Depth-Fused3D)装置的改良型的立体显示技术。

作为将如上所述的焦点位置不同的多个图像进行合成来生成深度扩展图像的方法，一般是剪切并合成深度内的图像的技术。

然而，在剪切并合成深度内的图像的技术中，无法再现与被摄体距离相应的自然的对比度变化。对此，参照图1～图3进行说明。图1是用于说明与被摄体距离相应的成像位置的差异的图，图2是表示根据被摄体距离剪切并合成焦点位置不同的两张图像时的与被摄体距离相应的亮度变化的情形的线图，图3是表示与将距离D0设为对焦位置时的被摄体距离的变化相应的点光源的亮度变化的情形的线图。

在处于远距离的被摄体OBJf和处于近距离的被摄体OBJn的情况下，即使使用同一个摄像光学系统LS，也能够在不同位置成像出远距离像IMGf和近距离像IMGn。在远距离像IMGf中，远距离被摄体OBJf是对焦的像，但近距离被摄体OBJn为失焦的像。相反地，在近距离像IMGn中，远距离被摄体OBJf是失焦的像，但近距离被摄体OBJn是对焦的像。

因此，通过分别取出在远距离像IMGf中进行了对焦的远距离被摄体OBJf和在近距离像IMGn中进行了对焦的近距离被摄体OBJn来合成一张图像，能够获得对远距离被摄体OBJf和近距离被摄体OBJn两者进行了对焦的深度扩展图像。

具体地说，如图2所示，当设为近距离像IMGn的对焦被摄体距离为D1、远距离像IMGf的对焦被摄体距离为D2(D2>D1)时，以处于D1与D2的中间的被摄体距离D3为边界，与D3相比处于近距离的被摄体的近距离像IMGn接近对焦，与D3相比处于远距离的被摄体的远距离像IMGf接近对焦。因而，针对图像中的距离比距离D3近的被摄体，从近距离像IMGn提取图像部分，针对图像中的距离比距离D3远的被摄体，从远距离像IMGf提取图像部分，并将它们进行合成，由此能够整体上获得更为聚焦的图像。