[发明专利]运动向量生成装置以及运动向量生成方法

说明书

技术领域

本发明涉及在时间序列图像之间通过搜索对应点来生成运动向量(motion vector)的运动向量生成装置以及运动向量生成方法。

背景技术

近年来，在汽车工业领域中，以提高安全性为目的的各种系统的研究正在进行，特别是使用了照相机的图像传感器已经被加以利用。图像传感器通过对取入的图像进行图像处理，来进行障碍物的确定、该障碍物的运动的分析等。

分析运动的方法例如有相关法。相关法是指求出2个相互对应的图像中的与一个图像上的关注点相对应的另一个图像上的点(对应点)的方法。更具体而言，在该相关法中，例如在2个时间序列图像中，针对作为在前图像的基准图像上的关注点设定如包含该关注点那样的模板，并且在作为在后图像的参照图像上也设定多个与基准图像大小相同的窗口。然后，在基准图像上的模板和参照图像上的各窗口之间计算出相关值(相似度)，搜索相关值最高的参照图像上的窗口，并求出该窗口的重心位置作为对应点。在多个时间序列图像中，进而在求出了对应点之后，将该对应点作为新的关注点，然后求出被摄像的图像上的对应点，通过依次反复进行上述动作，能够按每一帧追踪对应点将要进行怎样的运动，从而能够连续地求出运动向量。其中，运动向量是连结各帧的相互对应的点之间的向量。作为相关法，例如已知有被称为SAD(Sum of Absolute Difference)法的方法。

已经提出有多种求出该运动向量的方法，例如在专利文献1中记载有一种通过块匹配来求出对应点，并求出运动向量的方法。其中，在该方法中，以像素级(pixel level：像素单位)来选择关注点，对应点也以像素级被搜索，但在块匹配的相似度较低的情况下，例如以1/2像素或者1/4像素等小于1像素的单位的亚像素级来进行搜索，并求出运动向量。由此，由于进行亚像素级的精确的对应点搜索，并且以此为基础求出运动向量，所以能够进行精确的运动分析。

另外，例如在专利文献2中记载有一种如下所述的方法：在进行用于搜索对应点的模板匹配时，将关注点侧的图像的一部分亚像素化，将对应点侧的图像的整体亚像素化，来搜索对应点并求出运动向量。由此，由于进行亚像素级的搜索，所以能够进行精确的运动向量的计算。

另外，例如在专利文献3中记载有对应点的搜索方法。记载了一种进行如下所述的方法：以在不同的时间点取得的立体图像为基础来搜索对应点，由此生成每个时间点的距离信息和2维运动向量，进而以此为基础来生成3维运动向量。在该方法中，以像素级来提供关注点和对应点。

另外，例如在非专利文献1中，公开了一种利用相位限定相关法(POC法)的精确的对应点搜索方法。在该方法中，计算出与基准图像上的像素级的关注点相对应的参照图像上的像素级的对应点。然后，求出相对于对应点的亚像素级的偏移量，并对上述计算出的对应点考虑该偏移量来计算出亚像素级的对应点。

但是，专利文献1所公开的方法虽然以亚像素级计算出对应点，但在将该对应点作为关注点来从下一个时间序列图像中搜索对应点时，关注点并不是亚像素级，而被重新设定成像素级。即，专利文献1所公开的方法将以亚像素级求出的对应点变换成像素级，然后求出与下一个图像的对应点。因此，该专利文献1所公开的方法在多个时间序列图像中并不能连续求出运动向量。

另外，由于专利文献2所公开的方法在图像的亚像素化中受限于规定的分辨率，所以在该专利文献2所公开的方法中，存在着推算精度会产生误差的问题。而且，也会产生为了将图像亚像素化而导致运算时间增大的问题。

另外，专利文献3所公开的方法没有考虑对应点的位置是亚像素级的情况。因此，该专利文献3所公开的方法即使在成为亚像素级的位置的情况下，也针对相对该亚像素级的位置位于附近的像素级的位置进行对应点搜索。因此，导致和正确的对应点的位置产生偏移。因此，即使根据如此求出的对应点求取距离信息、2维运动向量和3维运动向量，也无法得到正确的值。假定即使对得到的对应点的信息进行插值等而使其接近更正确的值，但始终是通过插值而得到的值，并不能称为精确。

另外，对于非专利文献1所公开的方法，虽然在运算的中间阶段，当求取对应点相对于关注点的亚像素级的偏移量时，将基准图像上的关注点变换成亚像素级来进行运算，但并不是对以亚像素级设定的关注点进行搜索。因此，与专利文献1所公开的方法同样，并不是求出正确的对应点的位置的情况，没有建立精确的对应。

专利文献1：日本特开平5-236452号公报

专利文献2：日本特开2007-257026号公报