[发明专利]用于图像处理的装置和方法、以及计算机程序

说明书

技术领域

本发明涉及用于图像处理的装置和方法、以及计算机程序，并且尤其涉及用于检测图像中的运动矢量的图像处理装置和方法、以及计算机程序。

背景技术

在如运动图像压缩的图像编码中，检测运动矢量并且基于运动矢量信息执行数据压缩。例如，根据已知为图像编码系统的MPEG系统，执行用于将每帧分割成各块并且使用基准帧的相应块检测当前帧的每块中的运动矢量的处理。然而，当各块单元中的运动矢量信息包括在压缩数据中时，数据量增加。当相机通过例如摇镜头(panning)或倾斜动作或手运动而被移动时，各个块的运动矢量基本是相同的。在此情况下，设置与一帧相关联的单个运动矢量代替每块的运动矢量，并且使用以此方式获得的运动矢量执行编码处理，使得数据量可以减少。

每块的运动矢量被称为局部运动矢量(LMV)，而与一帧相关联的运动矢量被称为全局运动矢量(GMV)。在例如MPEG-4中利用使用全局运动矢量的数据编码。

例如，如图1A所示，假设存在两个图像帧，即在时间t0捕获的图像帧10和在时间t1捕获的图像帧11。在相机由于摇镜头或倾斜动作或手运动而被移动时捕获这两帧。如图所示，捕获的图像完全偏移。

通常，为了编码这些图像，每帧被分割为多块，每块包括例如n×n像素的矩阵，检测每块的运动矢量(MV)(即，局部运动矢量)，并且使用各个块的运动矢量执行数据压缩和解压缩。然而，如图1B所示，如果通过摇镜头或倾斜动作或手运动而移动相机，则各个块的运动矢量基本相同。

在此情况下，使用如图1C所示的描述整体图像的运动的一个运动矢量21执行图像编码。因此，可以显著提高编码效率。这种表示整体图像的运动的矢量被称为全局运动矢量。

全局运动矢量可以使用多个参数表示为描述如图1C所示的简单平移 (translation)、旋转、放大、缩小、仿射变换、或投影变换的数据。如上所述，在MPEG-4中利用使用全局运动矢量的编码。

MPEG-4使用应用全局运动矢量并且使用全局运动补偿(GMC)作为标准的图像编码技术。编码器检测全局运动矢量，而解码器利用使用接收的全局运动矢量的全局运动补偿执行解码。

全局运动矢量表示为描述当前帧中的像素位置(x，y)和图2所示的作为平移、旋转、放大、缩小、仿射变换、或投影变换的基准帧中的相应像素位置(x′，y′)之间关系的数据。通常，分配单个全局运动矢量给一个图像帧。一帧可以分割为多段(segment)，每段具有大于例如正常块的大小，并且可以为每段设置全局运动矢量。换句话说，每个图像帧的全局运动矢量的数目不限于一。单个全局运动矢量可以设置为包括在单个图像帧中的多个块公用的运动矢量，并且可以为单个图像帧设置多个全局运动矢量。

当全局运动矢量例如只描述平移(平行位移)时，该矢量使用两个参数[a₀，a₁]表示如下。

x′＝x+a₀

y′＝y+a₁

描述具有旋转的平移(平行位移)的全局运动矢量使用三个参数[a₀，a₁，a₂]表示如下。

x′＝sina₀x-cosa₀y+a₂

y′＝cosa₀x+sina₀y+a₁

描述仿射变换的全局运动矢量使用六个参数[a₀，a₁，a₂，a₃，a₄，a₅]表示如下。

x′＝a₀x-a₁y+a₂

y′＝a₃x+a₄y+a₅

描述投影变换的全局运动矢量使用八个参数[a₀，a₁，a₂，a₃，a₄，a₅，a₆，a₇]表示如下。

x′＝((a₀x+a₁y+a₂)/(a₆x+a₇y+1))