[发明专利]基于运动分类的自适应帧速率上转换方法

说明书

技术领域

本发明属于图像/视频处理领域，涉及数字电视格式处理，特别是一种自适应帧速率上转换方法，可用于视频会议，视频终端设备的兼容，以及低比特编码解码端的视频增强。

背景技术

随着图像编码与视频传输的飞速发展，数字高清晰度电视HDTV使人们在自己的起居室里就能得到极高品质的视听享受。然而从模拟到数字电视时代的转变是一个渐进的过程，高清晰度电视HDTV、标准清晰度电视SDTV、以及传统的模拟电视将在相当长的一段时间内同时存在。各种影视设备对帧速率的要求各不一致，因此各种设备之间的连接需要进行帧速率的转换。

帧速率上转换是指将低帧速率向高帧速率进行转换，典型的如30Hz向60Hz，50Hz向100Hz的转换。相比于低帧速率，在时间轴上，高帧速率导致帧与帧之间的时间间隔变小，同时添加了许多原本不存在帧的时间位置，在这些位置上，需要根据前后帧的内容“无中生有”出一副新的帧。

以是否考虑运动信息为准则，产生新一帧的方法可以分为非运动补偿方法与运动补偿方法。

非运动补偿方法，包括帧复制与帧平均。帧复制是指在新增图像帧处直接复制前一帧的信息。帧平均指的是在新增图像帧处放置的是前后两帧的信息的平均值。这两种方式简单，易于实现，但仅适合没有运动的场景。在运动区域，帧复制会导致运动物体的抽动，而帧平均则会导致运动物体的模糊。

运动补偿方法，往往考虑物体的运动，沿运动轨迹进行插值。由于考虑了运动信息，所获得的插值帧具有很好的运动描述，因而具有很好的图像质量。目前绝大多数基于运动的帧速率上转换方法首先在两帧或多帧图像间进行运动估计获取运动信息，然后使用这些运动信息进行运动补偿插值，获得插值帧。显然，帧速率上转换的性能依赖于运动估计和运动补偿算法的优劣。

众所周知，双向运动估计能得到比单向运动估技更精确的运动矢量，然而由于插值帧实际上是不存在，是人们自己生成的，会产生“背景取代物体”的现象，参见图3(a)，因此它得依赖于一些辅助措施来提高运动估计准确性。例如，B.-T.Choi，S.-H.Lee，and S.-J.Ko.New frame rate up-conversion using bi-directional motion estimation.IEEE Trans.Consumer Electron.，2000，46(3)，603-609.使用了双向运动估计作为帧速率上转换的第一步，但是其初始运动矢量仍然是依赖于单向运动估计的，并非真正的双向运动估计。

传统的沿运动轨迹的补偿插值方法会因无运动轨迹而产生孔洞，或因存在多重运动轨迹而产生重叠区域，参见图3(b)。为了克服这个缺陷，已经提出了中值滤波和线性插值(T.-Y.Kuo and C.-C.J.Kuo，Motion-compensated interpolation for low-bit-rate video qualityenhancement.Proc.of SPIE，Applications of Digital Image Processing XXI，San Diego，California，1998，3460：277-288)的方法去处理这些区域。然而这样的方法需要大量的检测重叠和孔洞区域的计算，并且孔洞区域的邻域可能还有孔洞出现。另一类简单的运动补偿方法虽然不会产生孔洞区域，但是它却建立在一个特定假设的前提下，即插值帧中每一个块的运动矢量和对应位置处的块运动矢量式是相同的，然而这个假设在运动比较大的情况下是不成立的。

针对现有运动估计和运动补偿相结合时产生的背景取代物体、孔洞、重叠等补偿不精确的问题，提出了混合运动估计，有效解决这种不足。

发明内容

本发明的目的在于提供一种基于运动分类的自适应帧速率上转换方法，以克服上述双向运动估计中背景取代物体，单向运动估计中易出现孔洞、重叠造成补偿插值不准确问题，以及运算量过大的问题，提高插值帧的质量。

实现本发明目的的技术方案是：根据视频的运动内容，采用全局运动估计的方法将其分为全局运动类型和局部运动类型的序列；对局部运动类型的序列，进行运动物体、遮挡区域、显露区域的检测；对全局运动序列和局部运动序列的运动区域，进行混合的运动估计。具体过程如下：

(1)利用图像的积分投影对视频序列进行全局运动估计，将视频图像逐帧分为全局运动序列和局部运动序列图像；

(2)对局部运动序列图像，利用高阶统计量模型对帧差图像进行高斯噪声检测，获得包含运动物体、背景遮挡以及背景显露区域；