[发明专利]成像设备、图像处理设备、图像处理方法和程序

说明书

技术领域

本公开涉及成像设备、图像处理设备和图像处理方法以及程序。更具体地，本公开涉及能够校正由成像设备拍摄的图像的成像设备、图像处理设备、图像处理方法以及程序。

背景技术

近年来，诸如静态摄像机、视频摄像机、单透镜反射摄像机、内置在移动装置中的摄像机、内置在PC中的摄像机的成像设备被小型化并且它们的成本和重量也被减小了。然而，这些小型化并且重量轻的相机在诸如透镜的光学系统中具有许多限制。因此，可能容易发生例如由透镜像差所引起的图像劣化。

透镜扭曲像差(扭曲)是随着相机的变焦比率增加而容易发生的现象。透镜扭曲像差的具体示例如下：(a)桶形扭曲，所拍摄的图像向外侧像桶那样圆形歪斜，(b)枕形扭曲，图像的四个角像枕头那样拉长并伸展，以及(c)这两种扭曲类型的混合，例如，诸如透镜扭曲像差或胡子扭曲(mustache distortion)。

可以通过改善透镜设计的精确度来在某种程度上防止扭曲像差，但是难以将其完全移除。特别地，在上述小型化、轻量化并且低成本化的相机中，实际难以使用被制造为具有高精确度的透镜。为了解决这个问题，近年来，已经发展了这样的相机，其具有通过经由图像处理执行几何变形来校正所拍摄的图像的扭曲的功能。

此外，伴随着相机的小型化和轻量化而产生的另一个问题是所拍摄的图像的稳定性由于用户手部的振动以及成像条件中的振动(在车辆中等)而劣化。用于抑制这种振动成分的技术代表性地包括通过将光引导到能够对透镜部分或图像传感器部分中的振动进行光学地消除的方向的技术(光学校正)以及通过消除与振动相对应的数据来获得进行成像之后的图像数据的技术(电子校正)。在这两种校正技术中，例如使用沿着水平和竖直方向(分别是X和Y方向)的两个轴来将振动成分划分为平移向量，并且计算每个校正量。然而，在实际中，手部的振动在许多情况下除了平移向量之外还包括旋转向量成分。因此，难以使用X和Y方向的平移校正来移除手部的这种旋转振动。

同时，因为两眼以特定间隔分离，通过该间隔，从不同方向观察物体并且空间偏移的图像聚焦在每个视网膜上，所以人类可以立体地观察物体。即，使用两眼之间的视差(parallax)来识别立体感。

用于使用成像设备来拍摄立体图像的所谓的立体相机，即，具有两个光学成像通道的相机也基于该原理。两个不同通道的图像被拍摄为立体图像的源。

因此，立体相机产生双通道图像(即，左眼图像和右眼图像)并且将其存储在存储器中。左眼和右眼图像被交替地显示在例如3D显示器上。观察者可以通过佩戴快门式眼镜并且仅用左眼或仅用右眼观看每个图像来观看立体图像。除了快门式眼镜技术之外的各种技术可以被用来显示3D图像。

虽然可以通过3D显示图像根据所拍摄的图像的视差来感受到深度感，但是立体相机对于图像的拍摄具有一些要求，以抑制观察者疲劳并实现舒适的观赏。具体地，有必要调节视差的设置或者精确地优化用于左眼图像和右眼图像的双通道光学成像系统的安装位置或方向。

因为用于立体相机的左眼图像和右眼图像的双通道光学成像系统的每个通道使用各自的透镜，所以各自产生分离的透镜扭曲像差。因此，为了移除扭曲像差，有必要对每个透镜进行独立的校正。

用于对通过现有技术的立体相机拍摄的两种类型的图像进行校正的示例性技术例如在日本未审查专利申请公报(PCT申请的翻译件)No.2008-524673。

如上所述，用于由相机拍摄的图像的图像校正处理包括透镜扭曲像差校正、手部平移振动校正和手部旋转振动校正。此外，在立体相机的情况下，根据许多其他目的，诸如双通道光学成像系统的视差校正的校正变得更加必要。

发明内容

期望提供一种能够对于由成像设备拍摄的图像执行各种其他类型的校正的成像设备、图像处理设备、图像处理方法和程序，诸如透镜扭曲像差校正、手部平移振动校正、手部旋转振动校正以及用于图像的双通道光学成像系统的视差校正。

根据本公开的第一实施例，提供了一种成像设备，包括：多个成像单元；校正单元，其对于由多个成像单元拍摄的图像执行校正处理；以及控制单元，其计算应用到校正单元中的校正处理的校正参数，其中，校正单元对于每个所拍摄的图像执行扭曲像差校正和手部振动校正，并且执行用于使得由多个成像单元拍摄的多个图像之间的特性相匹配的图像特性匹配校正处理。

在根据本公开的实施例的成像设备中，校正单元可以执行用于使得由多个成像单元拍摄的多个图像的变焦比率匹配的变焦比率校正处理，来作为图像特性匹配校正处理。