[发明专利]用于视频图像数据中的运动估计和运动补偿的方法和装置

说明书

技术领域

本发明涉及一种特别针对视频图像数据的基于行的场率上转换运动估计和运动补偿、用于视频图像数据中的运动估计和运动补偿的方法和装置。本发明还涉及一种计算机产品和一种包括计算机程序的数据载体。

背景技术

本发明涉及一种运动估计和补偿设备，更具体地涉及一种对运动矢量进行估计并对色度子采样和非子采样的视频帧的隔行扫描和非隔行扫描序列执行运动补偿预测的设备。

下文中，将关于对视频处理装置(如具有行存储设备的微处理器或微控制器)内的用于基于行的运动估计和运动补偿的视频信号进行的处理来描述本发明及其潜在问题，而应当注意，本发明不限于该应用，而还可以用于其他视频处理装置。

基于100/120Hz帧率甚至更高帧率的电视机的市场倡导要求开发可靠的场/帧率上转换(FRU)技术来移除画面中的伪像，如大面积闪烁和线条闪烁。对要在显示器上显示的缺失图像场进行插值而不执行对连续图像场中的运动目标的运动估计和补偿的标准FRU方法，在许多应用中是令人满意的，特别是在图像的较好的质量和上述伪像的减少的方面尤其如此。然而，许多画面包含引起所谓的运动抖动的运动目标，如人、字幕等。

参照图1更好地理解该问题，其中，假设原始图像场(即，发送和接收到的图像场)中的运动目标(白方块)的运动轨迹是直线的。如果缺失场/帧是由通过上述标准FRU方法(即，没有运动估计和补偿)插值产生的，则插值后的场中的运动目标(黑灰方块)的运动不在观察者预期的位置上(虚方块)。这样的伪像是可见的并引入模糊效应，特别是快速运动目标的模糊效应。典型地，这些模糊效应显著地降低了所显示图像的质量。

为了避免这样的模糊效应并减少伪像，提出了多种运动估计和运动补偿(或简称MEMC)的方法。该MEMC提供了，对接收到的图像场内的运动部分或目标的检测，然后根据所估计的运动通过对所估计的场中的缺失目标或部分进行插值来对缺失场进行插值。

图2示意性示出了两个连续图像场之间运动目标的位置的改变。在两个连续接收的图像场/帧之间，运动目标将已改变了它们的位置，例如位置A中先前场/帧T中的目标MO随后在当前场/帧T+1中位于位置B。这表明，从先前场/帧T至当前场/帧T+1存在运动。连续图像场/帧中目标的这种运动可以由所谓的运动矢量表示。运动矢量AB表示从先前场T中的位置A至当前场/帧T+1中的位置B的目标MO的运动。该运动矢量AB典型地具有水平和垂直矢量分量。从先前场T中的点A开始并将该运动矢量AB应用于目标MO，然后将目标MO平移到当前场/帧T+1中的位置B。必须通过考虑运动目标MO的相应位置A、B，对先前场T和当前场T+1插值来计算必须进行插值的缺失场/帧T+1/2中的目标MO的缺失位置I。如果目标MO在先前场/帧和当前场/帧之间没有改变其位置，例如，如果A和B是相同的，则通过将A平移运动矢量|AB|/2来获得缺失场中位置I。这样，利用位于正确位置的运动目标插值出缺失场T+1/2，从而有效地避免模糊效应。

理论上，对于场的每个像素，必须计算相应的运动矢量。然而，这将增加所需的计算量，从而存储器需求巨大。为了降低该巨大的计算量和存储器工作，基本上存在两种不同的方法：

第一种方法采用所谓的基于块的MEMC。该第一种方法假设图像中的目标的尺寸始终大于单个像素的尺寸。因此，将图像场划分成若干图像块。对于MEMC，仅针对每个块计算一个运动矢量。

第二种方法采用所谓的基于行的MEMC。在该第二种方法中，算法基于场的单行或该行的一部分的减少的视频输入数据集合。本发明是基于该第二种MEMC方法。

在当前基于行的MEMC系统中，通常将图像数据存储在本地缓冲器或芯片存储器(所谓的行存储器)中，这需要相当大的带宽。许多当前MEMC系统(如Gerard de Haan在EP 765571B1和US 6,034,734中描述的实现方式)应用高速缓存存储器(例如，二维缓冲器)来降低带宽要求并存储图像的子集。运动补偿设备在应用运动矢量时从该高速缓存中取出视频图像数据。典型地，在MEMC系统中，该高速缓存覆盖运动矢量的整个搜索范围。通常，高速缓存由大量所谓行存储器组成。这导致相当大量的存储器，例如，720像素宽和24行(具有关联的[-12-+12]最大垂直矢量范围)。包括大量单行存储器的这种高速缓存需要仅MEMC数据缓冲所需的大型存储器。因此，处理器内的存储器部分覆盖相对大的芯片面积。