[发明专利]图像处理装置、图像处理方法

说明书

技术领域

本发明涉及图像处理装置、图像处理方法和图像处理程序。

背景技术

以往，作为图像处理装置，已知有使用CMOS（Complementary Metal Oxide Semiconductor，互补式金属氧化物半导体）对以焦平面快门方式所拍摄的图像进行处理的装置（参照专利文献1）。在上述方式中，逐行地进行帧图像的数据传送。因此，帧图像内的摄像定时成为每行略微不同的定时。由于这样的摄像定时的偏移，发生所谓的卷帘快门失真（焦平面失真）。

在专利文献1所述的图像处理装置中，使用照相机运动（Camera Motion）成分和卷帘快门失真成分等对表示画面整体的运动的全局运动矢量进行模型化。而且，该图像处理装置检测全局运动矢量，使用上述模型从检测出的全局运动矢量中分离出各成分，计算照相机运动成分或卷帘快门失真成分。

现有技术文献

专利文献

专利文献1：日本特开2010－193302号公报

发明内容

但是，在专利文献1所述的图像处理装置中，有时无法正确计算卷帘快门失真成分。例如，在摄像场景内存在不同运动的多个被摄体的情况下，该多个被摄体的运动有时反映到全局运动矢量。该情况下，全局运动矢量与专利文献1所述的模型之间产生误差，因而获得的卷帘快门失真成分发生误差。而且，在专利文献1所述的模型中，为了计算表示卷帘快门失真的放大缩小的成分、和表示平行四边形的失真程度的成分，分别需要全局运动矢量的多个成分。因此，在卷帘快门失真成分的计算中容易产生误差。

因此，在该技术领域中，期望一种可稳定正确地估计卷帘快门失真成分的图像处理装置、图像处理方法和图像处理程序。

即，本发明的一方面的图像处理装置是处理图像的装置。图像处理装置具有图像输入部、运动矢量取得部和失真成分估计部。图像输入部输入作为处理对象的图像即对象图像。运动矢量取得部取得由于拍摄了对象图像的摄像装置在该对象图像的摄像时相对于在该对象图像中所描绘的被摄体发生了相对移动而产生的运动矢量。失真成分估计部根据运动矢量，估计对象图像的卷帘快门失真成分。

根据该图像处理装置，取得因摄像装置的运动而产生的运动矢量，根据运动矢量估计对象图像的卷帘快门失真成分。因摄像装置的运动而产生的运动矢量与表示画面整体的运动的全局运动矢量相比自由度被限制。因此，与全局运动矢量相比，运动矢量即使是在不同运动的被摄体混合存在的拍摄场景，也可以容易排除被摄体的误差来稳定正确地取得。因而，通过使用因摄像装置的运动而产生的运动矢量，可以稳定正确地估计卷帘快门失真成分。

这里，所述失真成分估计部可以根据所述运动矢量的平行移动成分，估计所述对象图像的卷帘快门失真成分。通过这样构成，通过使用在运动矢量中也能特别稳定正确地取得的平行移动成分，可进一步稳定正确地估计卷帘快门失真成分。

所述失真成分估计部根据所述运动矢量和所述摄像装置的摄像条件的设定值，估计所述卷帘快门失真成分。通过这样构成，可考虑摄像装置固有的因素和摄像的环境信息来估计卷帘快门失真成分。因此，能够正确地估计卷帘快门失真成分。

所述运动矢量取得部构成为能够参照记录部，所述记录部存储紧接在所述对象图像之前所拍摄的图像即紧前图像也就是紧接在之前所拍摄的图像即紧前图像，所述运动矢量取得部可以根据存储在记录部内的紧前图像和对象图像取得运动矢量。或者，所述运动矢量取得部取得由所述摄像装置具有的陀螺传感器所检测的运动矢量。

而且，所述图像处理装置可以具有校正部，所述校正部根据所述卷帘快门失真成分校正所述对象图像。通过这样构成，可在减少失真的状态下拍摄被摄体。

并且，所述校正部构成为能够参照记录部，所述记录部存储所述卷帘快门失真成分的紧前的历史记录，在存储于所述记录部内的紧前的所述卷帘快门失真成分与所述对象图像中的所述卷帘快门失真成分的差分大于预定值的情况下，所述校正部可以调整所述对象图像中的所述卷帘快门失真成分，使得所述差分变小。通过这样构成，可检测卷帘快门失真成分的比预定值大的变化，调整卷帘快门失真成分以抑制该变化。因此，例如，即使是被摄体进入/退出画面的场景，也能够避免画面被不自然地校正。