[发明专利]图像处理装置、图像处理方法、程序及摄影装置

说明书

技术领域

本发明涉及图像处理装置、图像处理方法、程序及摄影装置，尤其涉及图像校正的技术。

背景技术

近年来，提出了在摄像机、视频摄像机等摄影装置中校正图像的抖动的手抖动校正技术。

例如，专利文献1公开了这样的方法，从用摄像机拍摄到的动态图像的图像数据中按照每帧图像自动抽取规定数量的特征点，在动态图像的各帧图像中自动跟踪这些特征点，求出帧图像之间的对应关系，根据求出了对应关系的特征点的三维位置坐标求出包括摄像机的三维位置坐标和三维旋转坐标的摄像机矢量，由此进行基于图像处理的抖动校正。另外，例如专利文献2公开了这样的方法，在对鱼眼影像应用透视投影像的抖动校正方法的情况下，考虑摄像机的中心部分和周边部分的畸变特性，切取透视投影像的一部分来进行基于图像处理的抖动校正。

现有技术文献

专利文献

专利文献1：日本特开2005－295495号公报

专利文献2：日本特开2006－295626号公报

发明概要

发明要解决的问题

但是，在上述专利文献1及上述专利文献2所记载的方法中，如以下说明的那样存在很难进行高精度的手抖动校正的问题。

即，在上述专利文献1所记载的方法中，没有考虑到动态图像所包含的对象(object)等被摄体根据动态图像内的位置而变形。因此，不能根据摄像机的运动的方向及运动的大小准确求出摄像机矢量（表示帧图像间的位置偏移量的移动量），存在不能实现抖动校正的情况。这是在进行鱼眼影像等超广角摄影时尤其明显发生的问题。

在上述专利文献2所记载的方法中，在求出鱼眼影像的抖动量（位置偏移的程度）时暂且对透视投影像进行变换，并计算表示透视投影像间的位置偏移量的移动量作为鱼眼影像间的移动量。但是，与上述专利文献1同样地没有考虑到在鱼眼影像中由于被摄体的位置变化而发生了变形。即，没有考虑到在生成透视投影像时的形状变化（变形）根据在鱼眼影像中的被摄体位置不同而增大、以及移动量的标度(scale)根据该形状变化（变形）在透视投影图像内的中心部分和周边部分是不同的。因此，计算出的移动量的精度根据鱼眼影像内的被摄体的位置而明显下降。

在此，使用附图对在鱼眼影像的切取图像中根据被摄体的位置而产生变形的情况进行说明。图1A～图2B是用于说明切取图像中的被摄体根据鱼眼影像中的被摄体位置而产生变形的图。图1A和图2A表示鱼眼影像。在图1A和图2A中，作为被摄体的人物的位置不同。

图1B和图2B分别表示通过透视投影变换对图1A和图2A的中心附近（大致相当于虚线部分）进行切取而生成的切取图像。在图1A所示的鱼眼影像中，作为被摄体的人物基本位于中心部分，因而在其透视投影图像即图1B所示的切取图像中残留有若干变形（形状变化），但是其变形（形状变化）不大。另一方面，在图2A所示的鱼眼影像中，作为被摄体的人物在远离中心部分的位置，因而在其透视投影图像即图2B所示的切取图像中被摄体的幅度增大，可知残留有较大变形（形状变化）。如此可知，例如即使对图1A和图2A的鱼眼影像进行基于图像处理的匹配，根据鱼眼影像内的被摄体的位置不同，也很难进行高精度地检测抖动量。

另外，在上述专利文献1及上述专利文献2所记载的方法中，除了没有考虑到诸如上述的变形之外，还存在包含了基于采用的计算方式的误差的问题。

具体地讲，在上述专利文献1中，利用通过图像处理能够检测到的图像上的特征性的点即特征点来进行匹配，并且进行使从匹配成功的多个特征点得到的多个摄像机矢量的误差最小化的处理，因而针对各个特征点的校正量含有误差。其原因有以下因素等：1）在通常采用的特征点抽取算法（Lucas－Kanade法、SIFT法等）中，存在特征点计算精度因影像而下降、被摄体的特征点位置自身就含有误差的情况，2）很难从匹配成功的特征点的对组中仅选择一个最佳的对(pair)，3）因此需要进行计算后的摄像机矢量的误差的最小化。另外，在上述专利文献2中记载了采用利用特征点的模板匹配的示例，但如上所述在生成透视投影像时根据原来的鱼眼像中的位置而产生非线性的变形，因而除了以抖动量较小、而且变形的影响不易显现出来的透视投影像的展开中心附近为对象来进行模板匹配的情况之外，存在该匹配自身失败的情况。

在此，对基于特征点的匹配方法进行说明。

图3A～图3D是用于说明基于特征点的匹配方法的图。基于特征点的匹配采用共同存在于在时间上连续拍摄的两张图像间的被摄体上的几个特征点。下面，将两张图像中在时间上先拍摄的图像表述为图像t－1，将在时间上后拍摄的图像表述为图像t。