[发明专利]一种基于时间分辨率变换的视频转换处理方法

说明书

技术领域

本发明涉及计算，尤其涉及一种基于时间分辨率变换的视频转换处理方法。

背景技术

视频转换编码可以理解为从一种视频压缩格式到另一种视频压缩格式的转换，这里所说的格式包括码流的句法和码流中的相关参数，如编码码率、视频图像空间分辨率、时间分辨率、对网络带宽的适应能力等，其实质就是为适应传输网络的不同带宽情况或根据客户端的解码能力，把一种压缩格式的视频流转换为同种或另一种压缩格式的视频流。

可扩展视频编码是另一种以多层的方式压缩视频并根据网络带宽的变化情况传输其中合适的几层的编码方法。它将原始视频数据压缩成一个基本层和若干个增强层，基本层必须保证全部传输，带宽越宽，能传输的增强层数就越多，重建视频图像质量越好，增强层依赖于基本层，没有基本层有再多的增强层也没有用。

可扩展视频编码方法主要有空域分层、时域分层、信噪比(SNR)分层、精细可分层(FGS)等方法，它通过进行一次编码，就可以生成一路适合多种信道环境的码流，因而其灵活性高于视频转换编码方法，但是可扩展视频要求解码器支持多层解码，这种复杂的解码功能在手持终端上不容易被支持，另外，其码率控制方式远远复杂于视频转换编码，导致流媒体服务器端的运算复杂度提高，而且由于分层导致头信息增加，这种编码方式得到的重建视频图像质量与在相同的带宽条件下视频转换编码获得的重建视频图像质量相比要差。多描述编码是一种将原始视频编码成多路视频流，其中任何一路视频流都可单独解码播放，通过多路解码视频流的合并来获得更好的重建图像质量并增强视频流对网络的适应性，但是其实现复杂度很高，而且重建视频图像质量的波动通常较大。因此，可扩展视频编码方法与视频转换编码方法相比，运算复杂度高，应用范围有限。

随着无线网络传输带宽的不断提高，以及多媒体检索业务的不断发展，对已有编码视频流进行时间转换编码的需求越来越强烈。时间分辨率变换(帧率变换)，实际上就是指通过丢帧的方式来满足网络带宽变化或终端对输入视频流的解码需求。最简单的时间分辨率变换方法是丢弃双向预测帧(B帧)，由于B帧在编码时不用做其它帧的参考帧，因此转换编码器仅需要对原码流进行语法转换，不会影响解码器对其它帧的正确解码。然而，当丢弃帧不仅限于B帧时，原码流的部分运动矢量由于其参考帧在新码流中被丢弃而变得无效，需要对运动矢量进行修正，因此视频时间分辨率变换(视频时间分辩率变换就是根据实际网络传输带宽的变化去掉编码视频流中某些帧的数据比特)的关键问题也归结为运动矢量的快速重估，即寻找既能利用原码流中运动矢量信息而又不致引入明显的重建视频图像质量降低的方案。

在现有的处理方法中，归纳起来主要有三种方法：最直接的时间视频分辨率转换编码方式是先把待转换的编码视频流完全解码，再用需要的编码格式采用全搜索块匹配算法(FS)重新进行运动估计而不利用编码视频流中已有的任何运动信息，得到符合转换要求的具有较好重建视频图像质量的编码视频流，但是全搜索块匹配算法会消耗处理器大部分的计算资源，因此一般不采用；另外一种是对运动矢量采用双线性内插(BILINEAR)，对内插后的运动矢量进行修正，可以根据跳帧数和运动矢量累计幅度确定搜索范围，在此范围内搜索得到更新的运动矢量。

还有一种是Jeongnam Youn和Ming-Ting Sun在文章《A fast motion vectorcomposition method for temporal transcoding》提出的称为前向主控矢量选择法FDVS，相对上述两种方法，具有较小的计算量和更好的性能，如图1所示，每帧中构成一个大正方形的四个小正方形分别称之为编码宏块S1(左上)、S2(右上)、S3(左下)、S4(右下)，该方法通过从丢弃帧(n-1)中找到以该帧数据为参考的后续帧(n)中的编码宏块S1(运动矢量为I₁(n))的匹配宏块MB₁’的对应位置，从其部分覆盖的四个编码宏块S1、S2、S3、S4对应的运动矢量选择一个主控运动矢量，这个主控运动矢量为主控宏块S2的运动矢量I₂(n-1)，主控宏块是指四个宏块中被匹配宏块覆盖最大的那个宏块，然而，当其在参考帧(n-1)中的对应匹配位置覆盖的四个编码宏块的面积比较接近时，如图2所示，此时主控矢量选择法FDVS仍然简单的按照覆盖面积大小选择主控运动矢量，获得的主控运动矢量缺乏代表性，从而影响解码端的重建视频图像质量。

发明内容