[发明专利]立体图像处理装置、方法、记录介质和立体成像设备

说明书

技术领域

本公开的主题涉及立体图像处理装置、立体图像处理方法、记录介质和立体成像设备。更具体地说，本公开的主题涉及对由于多个成像单元的放置姿态而造成的多个图像之间的视角差异以及放大比的差异等进行几何校正的技术。

背景技术

在一个照相机设备中包括多个成像单元的照相机(所谓的复眼照相机)能够从多个视点对同一对象进行成像。因此，复眼照相机可用于获取对象的三维信息。在影视欣赏领域，存在三维画面的欣赏介质，比如使用从各个成像单元获取并具有视差的图像制成的并且使用双凸透镜片实现的印刷品。复眼照相机用作该介质的图像输入装置。

如上所述，复眼照相机包括多个成像单元。因此，在透镜特性、每个成像单元的成像元件等中存在差异、或者当安装成像单元时基于逐个安装成像单元的放置姿态中存在差异的状况下，不能获取良好的视差图像。特别地，后一差异会大大影响到视差信息。因此，为了防止三维图像的立体效果和可视性变差，减小成像单元的放置姿态的差异是很重要的。

当通过如图12A所示的两个成像单元(左和右)对一个对象(人)SUB2成像时，难以获取理想的视差图像。理想的视差图像IMG_L和IMG_R是在照相机中的各成像单元的姿态没有差异的状况下成像的，并且在理想的视差图像IMG_L和IMG_R之间，由左成像单元成像的图像IMG_L中的对象SUB2的图像SUB2_L和由右成像单元成像的图像IMG_R中的对象SUB2的图像SUB2_R彼此朝图像IMG_L和IMG_R的水平方向偏移，该偏移是由于视差引起的，如图12B所示。在实际获取的视差图像IMG_L’和IMG_R’中，图像IMG_L’和IMG_R’中的对象SUB2的图像SUB2_L’和SUB2_R’不仅由于视差而且还由于成像单元的姿态而发生偏移(图12C)。

在制造复眼照相机的处理中，优选的是以高定位精度来安装成像单元，以便消除上述由于各成像单元的姿态差异而造成的对象图像的偏移。然而，对精度的追求导致产量减小、操作工时增加等问题。

为了解决上述问题，传统技术中，PTL1和PTL2提出了通过对由复眼照相机拍摄的图像进行几何变换来消除成像单元之间的几何特性上的差别的方法。

在PTL1中描述的方法中，为了矫正由多个照相机的位置和姿态上的偏移导致的投影变形，将各个照相机拍摄的图像投影在相同(单一、同一)平面上，并且将各个照相机拍摄的图像矫正为该相同平面上的图像。

在PTL2中描述的方法提出对视角偏差之中由成像单元姿态和放大比中的差别所导致的偏差进行校正，视角偏差是在两个成像单元同时拍摄一个对象的图像时发生的。在PTL2中描述的方法中，检测了由各个成像单元获取的图像之间的对应点，计算几何校正参数以使得各个图像的对应点彼此相同，并使用该参数来对图像进行变换。

引用列表

专利文献

PTL1：日本专利申请公开No.7-294215

PTL2：日本专利申请公开No.2006-157432

发明内容

技术问题

然而，在PTL1中描述的方法中，执行了将各个图像强制投影到同一平面上的图像处理。因此，PTL1中描述的方法具有投影后的图像之间的视差变得不相称和有违本意的问题。

另一方面，由于在PTL2中描述的方法中，对图像进行变换以使得两个图像中的对应点彼此相同。因此PTL2中描述的方法具有这样的问题：视差图像之间由要保留的视差所引起的对象图像的偏移也被校正了，从而丢失了关于视差的信息。

考虑到这些情况作出了本公开的主题。本公开的主题的一个目的是提供立体图像处理装置、立体图像处理方法、记录介质和立体成像设备，当消除多个图像之间由于多个成像单元(其通过几何变换来拍摄多个图像)的放置姿态、放大比等的差异而造成的视角差异时，上述装置、方法、介质和设备能够对图像进行几何变换以保留图像之间的固有的视角差异，能够获取理想的视差图像。

解决问题的方案