[发明专利]图像处理装置及方法、摄影装置、再生装置、集成电路

说明书

技术领域

本发明涉及相机等摄影装置。

背景技术

近些年，随着相机的小型化、轻量化，拍摄者以手持相机的状态来拍摄影像的情况变得很普遍。并且，也出现拍摄者不以手持相机而是佩戴在眼镜、衣服、帽子等来拍摄影像，即所谓的免提(hands free)拍摄。对于这样的利用佩戴在眼镜、衣服、帽子等的小型相机来进行的拍摄，使用以往的大且重的相机时未成问题的课题就明显起来。其课题之一是，所拍摄的影像中存在的影像的晃动。越是拍摄者进行拍摄的自由度高的、小且轻的相机，此影像的晃动就越明显。因此，以往开发了控制影像的晃动或校正影像的晃动的技术。

以往的控制影像的晃动或校正影像的晃动的技术中，有电子式晃动校正方式、光学式晃动校正方式等。并且，在这些电子式晃动校正方式、光学式晃动校正方式等中，有为了提高控制影像的晃动或校正影像的晃动的性能而利用加速度传感器、陀螺仪(gyroscopic)、倾斜传感器等各种传感器来检测拍摄时出现的晃动的技术(例如参照专利文献1)。专利文献1所记载的手抖动校正装置利用装配在相机中的倾斜传感器来取得有关晃动的倾向的信息。并且，该手抖动校正装置利用所取得的有关晃动的倾向的信息，进行用于检测晃动量以及晃动方向的图像搜索(匹配)。其结果，专利文献1所记载的手抖动校正装置能够削减用于检测晃动量以及晃动方向而需要的计算量。

并且，还提出了更加积极地利用从传感器取得的晃动信息，控制映像的晃动的技术(例如，参照专利文献2)。专利文献2所记载的手抖动校正装置通过学习以时间序列输入的传感器数据，从而预测拍摄的瞬间的晃动振动。并且，该手抖动校正装置驱动晃动校正透镜以利用所预测出的晃动振动信息来消除晃动振动，从而控制晃动。其结果，专利文献2所记载的手抖动校正装置，能够控制与实际的手抖动振动的特性(拍摄者的习惯、装配在相机主体中的可替换透镜的重量平衡等)对应的晃动。

专利文献1：日本特开2006-343652号公报

专利文献2：日本特开平7-20547号公报

然而，专利文献1以及专利文献2所记载的手抖动校正装置都设想的是能够从传感器取得稳定的信号的静态的拍摄条件而校正影像的晃动。也就是说，专利文献1以及专利文献2所记载的手抖动校正装置，未设想拍摄者以手持小型轻量的相机的状态或以佩戴免提相机的状态边移动边进行拍摄的情况。在免提拍摄中，因为拍摄者未以手持相机，因此拍摄状态不稳定。并且，又加上，在免提拍摄中，步行所引起的振动也被施加到相机中。在这样的拍摄状态中，在利用小型价廉的传感器的情况下，因为惯性噪声或交叉轴灵敏度等噪声会叠加到来自传感器的输出信号，因此来自传感器的输出信号的可靠性明显降低。因此，出现的课题是，在如上所述的来自传感器的输出信号的可靠性低的情况下，凭以往的校正影像的晃动的技术，不能将来自传感器的输出信号利用于影像的晃动的校正。

发明内容

本发明用于解决上述以往的课题，目的在于提供一种图像处理装置等，该图像处理装置能够计算用于即使在测量摄影装置的运动的传感器的精确度低的情况下也能以高精确度校正大的影像的晃动的参数。

为了达到上述目的，本发明所涉及的图像处理装置，计算参数，所述参数用于调整由具备检测运动的传感器的摄影装置所拍摄的两个以上的图像间的位置，所述图像处理装置具备：图像取得部，取得由所述摄影装置所拍摄的图像；传感器信息取得部，取得传感器信息，所述传感器信息是在拍摄由所述图像取得部所取得的图像时的所述传感器的输出信号；限制条件生成部，利用由所述传感器信息取得部所取得的传感器信息来生成限制条件，所述限制条件是在计算所述参数时使所述参数的值在规定范围内的限制条件；以及参数计算部，根据由所述限制条件生成部所生成的限制条件，针对由所述图像取得部所取得的图像，计算所述参数，所述限制条件生成部包括：特征向量生成部，生成特征向量，所述特征向量表示由所述传感器信息取得部所取得的传感器信息的特征；以及运动识别部，利用所述特征向量和所述摄影装置的运动之间的关联性，根据由所述特征向量生成部所生成的特征向量，识别所述摄影装置的运动，所述关联性是针对所述特征向量和所述摄影装置的实际的运动预先进行机器学习(Machinelearning)的结果所得到的关联性，所述限制条件生成部，根据由所述运动识别部所识别的所述摄影装置的运动来确定所述规定范围，从而生成所述限制条件。