[发明专利]一种基于光流法的视频插帧方法及系统

说明书

一种基于光流法的视频插帧方法及系统，其过程为：对输入的视频的帧序列，采用光流法计算得到相邻两帧之间的双向运动矢量；判断相邻两帧之间的双向运动矢量是否可靠，对光流法的锯齿问题和噪声问题进行处理；对相邻两帧中的“遮挡”和“暴露”区域进行标记，对不可靠的运动矢量进行更新处理；对于相邻两帧，根据“遮挡”和“暴露”区域的标记信息以及更新处理后所得的双向运动矢量场，将前后帧向内插帧映射得到前向内插帧和后向内插帧；将前向内插帧和后向内插帧合成成内插帧；对内插帧中的洞点进行修补；得到最终的内插帧。本发明的帧率上转换采用光流法计算得到相邻两帧之间的双向运动矢量，其基于的是像素，因此更加精确，不存在块效应等问题。

技术领域

本发明涉及视频处理及传输领域，具体涉及一种基于光流法的视频插帧方法及系统。

背景技术

随着高清数字电视和高端多媒体信息系统的发展，现有的视频信号节目源已经不能满足人们对于视觉效果的需求，因此需要提高现有视频节目源的帧率以达到更好的视觉效果；与此同时，尽管目前视频传输中的编解码技术已经可以获得很高的压缩比，然而为了适应一些网络带宽有限的应用，通常将视频信号的时空分辨率降低使数据量更少，在时域中可以通过编码端跳帧来实现。这样，在解码端的低帧率视频必然会引起运动不连续、图像质量的退化，尤其是在快速运动和复杂场景中更为明显。为此，可以在解码端采用视频插帧，即帧率上转换(FRUC，Frame Rate Up-convers ion)技术来恢复原来帧率以提高视频图像的主观视觉效果。此外，该技术也可用于不同帧率视频格式之间的转换。通过在相邻帧之间插入中间帧的方式，将低帧率的视频提升至高帧率，实现不同帧率之间的转换。

目前主流的帧率上转换通常采用的方法是基于块匹配的运动补偿内插。但是块匹配算法存在一个根本的缺陷，在物体边缘处会将不属于同一个物体的区域划分到同一个块并赋予相同的运动矢量，这样就会导致内插帧存在块效应问题。此外，由“遮挡”和“暴露”引起的“冲突”和“洞点”问题，也是目前主流方法所不能解决的。

有效降低块效应问题和解决“遮挡”与“暴露”问题的方法一直是本领域的研究重点。

发明内容

一种基于光流法的视频插帧方法，包括如下步骤：

运动矢量计算过程：对输入视频的帧序列，采用光流法计算得到相邻两帧之间的运动矢量；相邻两帧包括前向参考帧和后向参考帧；

内插帧映射过程：根据相邻两帧之间的运动矢量场，在相邻两帧之间映射得到内插帧。

基于光流法的视频插帧方法还可以是以下步骤：

运动矢量计算过程为：对输入视频的帧序列，采用光流法计算得到相邻两帧之间的双向运动矢量；

运动矢量计算过程之后还包括可靠性判断处理过程：对相邻两帧之间的双向运动矢量进行可靠性判断，根据可靠性判断的结果对相邻两帧中的闭塞区域进行标记，并更新闭塞区域的不可靠运动矢量；

内插帧映射过程为：根据闭塞区域的标记信息以及更新后所得的运动矢量场，将前向参考帧向内插帧映射得到前向内插帧，将后向参考帧向内插帧映射得到后向内插帧；将前向内插帧和后向内插帧合成成内插帧。

判断前向运动矢量与后向运动矢量可靠性的方法是相同的，下面仅以判断前向运动矢量可靠性为例来说明运动矢量可靠性的判别方法。取后向参考帧的某一像素为当前像素，当前像素从后向参考帧指向前向参考帧的运动矢量为当前像素的前向运动矢量；当前像素的前向运动矢量指向前向参考帧的像素为前向参考像素，前向参考像素从前向参考帧指向后向参考帧的运动矢量为前向参考像素的后向运动矢量。