[发明专利]一种基于图像插值的视频插帧方法

说明书

技术领域

本发明属于视频处理及传输领域，具体涉及一种基于图像插值的视频插帧方法。

背景技术

随着高清数字电视（HDTV）和高端多媒体信息系统的发展，人们对视频源的视觉效果要求越来越高，因此需要提高现有视频节目源的帧率以达到更好的视觉效果；与此同时，尽管目前视频传输中的编解码技术已经可以获得很高的压缩比，然而为了适应一些网络带宽的限制，通常将视频信号的时空分辨率降低使数据量更少，在时域中可以通过编码端跳帧来实现。这样，在解码端的低帧率视频必然会引起运动不连续、图像质量的退化，尤其是在快速运动和复杂场景中更为明显。为此，可以在解码端采用视频插帧，即帧率上转换技术来恢复原始帧率以提高视频图像的主观视觉效果，该技术也可用于不同帧率视频格式之间的转换。

视频插帧即帧率上转换（Frame Rate Up-Conversion，FRUC）技术，它通过在解码端相邻帧之间插入中间帧的方式，将视频从低帧率提升至高帧率，实现不同帧率之间的转换。随着人们对视频效果要求的不断提高，需要更大的视频分辨率（及显示尺寸）、更快的帧率，这些需求使对处理模块的速度与存储器空间的要求越来越高，给视频倍频系统的实时处理带来了挑战。

由于简单的帧重复、帧平均会产生运动抖动和模糊，因此在实际应用中帧率上转换通常采用的方法是基于块匹配的运动补偿内插（Motion-Compensated Interpolation,MCI），该方法所获得的内插帧质量取决于运动矢量估计的精度。

但是，传统的块匹配进行运动估计时是前后两帧“单向”搜索，使得中间内插帧的一个像素可能有多个运动轨迹通过，或者没有运动轨迹通过，而分别产生“重叠”和“空洞”问题，请见图1。

该技术问题因“双向运动估计”技术而得到一定的解决，“双向运动估计”是以内插帧中的块作为定位基准，在前后帧中对称地搜索匹配块，这样在插值补偿中间帧时就不会存在单向运动估计方法所带来的像素“重叠”和“空洞”；尽管如此，“双向运动估计”往往不能得到准确的运动矢量，使得补偿插值后内插帧出现块效应。

能有效提高降低内插帧中的块效应、提高图像质量的视频插值技术，一直是本领域的研究重点。

发明内容

针对上述问题，本发明提出一种能有效提高降低内插帧中的块效应、提高图像质量的基于图像插值的视频插值方法。

本发明所采用的技术方案是：一种基于图像插值的视频插帧方法，其特征在于，包括以下步骤：

步骤1：针对当前帧，以相邻两帧中的前一帧为参考帧，通过16×16块搜索的单向初始运动估计，得到当前帧的初始运动矢量；

步骤2：对所述的当前帧的初始运动矢量进行平滑滤波处理，得到初次运动矢量场；

步骤3：判断：所述的初始运动估计的块是否满足块匹配搜索准则？

若满足，则首先用8×8块直接继承这些运动矢量，然后用4×4块直接继承这些运动矢量，最后跳转执行所述的步骤8；

若不满足，则将不满足块匹配搜索准则的块拆分，进行二级运动估计，得到这些块的第二次估计的运动矢量；

步骤4：对所述的第二次估计的运动矢量进行平滑滤波处理，得到第二级运动矢量场；

步骤5：判断：所述的二级运动估计的块是否满足块匹配搜索准则？

若满足，则用4×4块直接继承这些运动矢量，并跳转执行所述的步骤8；

若不满足，则将不满足块匹配搜索准则的块继续拆分，进行三级运动估计，得到这些块的第三次估计的运动矢量；

步骤6：对所述的第三次估计的运动矢量进行平滑滤波处理，得到第三级运动矢量场；

步骤7：判断：所述的三级运动估计的块是否满足块匹配搜索准则？

若满足，则将所述的第三级运动矢量场为最终的运动矢量场，并跳转执行所述的步骤8；

若不满足，则估计失败，其运动矢量根据其周围的块运动矢量直接分配；

步骤8：根据所述的最终的运动矢量场对当前帧进行插值补偿，得到初始的内插帧，并对“空洞”和“重叠”区域的像素进行标记，得到待修补区域掩膜；

步骤9：根据所述的待修补区域掩膜对初始内插帧进行图像修补，得到最终的内插帧。

作为优选，步骤1中所述的基于块搜索，采用的是三维递归搜索算法。

作为优选，步骤3中所述的二级运动估计，采用的是8×8块继承初始运动估计的结果，对上一步中的块重新运动估计。

作为优选，步骤5中所述的三级运动估计，采用的是4×4块继承二级运动估计的结果，对上一步中的块重新运动估计。