[发明专利]一种实现实时双帧参考的时域可分级视频编码方法

说明书

技术领域

本发明属于视频编码领域，特别是涉及低时延的时域可分级视频编码实现方法。

背景技术

随着Internet技术的不断发展，到如今已是无处不在的Internet为视频服务提供了一个广阔的平台，但是Internet本身具有网络的异构性、带宽的波动性和传输中的不可靠性等特点，对视频编码技术提出了新的挑战。为了克服Internet的这些缺点，可分级的视频编码技术(SVC，Scalable Video Coding)是一个很好的选择。可分级的视频编码技术的可分级性一般包括时域可分级性、空域可分级性、质量可分级性和以上这些选项的组合(请见参考文献1)。

时域可分级性就是要求码流具有帧率的可变性，以满足不同的网络情况和不同的终端设备解码和显示需要。目前实现时域可分级的技术主要是帧间小波技术，也就是基于运动补偿的时域滤波技术(MCTF，Motion-Compensated Temporal Filtering)，这种技术通过在时域上引入小波分解，得到视频在时域上的多分辨率分析，进而实现视频在时域上的可分级。MCTF在其发展中，逐渐形成了两种实现方式，即基于块位移的MCTF和基于提升算法的MCTF。基于块位移的MCTF首先不能很好的获取编码图象运动场的信息，导致在编码图象和参考帧之间一定数量的像素被标记成“unconnected”，影响了编码效率；其次，亚像素精度的运动估计和运动补偿以及除Haar小波外的其他小波很难在其编码框架内实现，极大影响了编码的灵活性和编码效率。

在当今产业界，现存的IPP...P非可分级视频编码标准中，对P帧编码时仅用前向帧中相邻的一帧作为参考进行运动估计和运动补偿。我国具有自主知识产权的音视频编码标准-AVS中，P帧的参考帧采用了双帧参考。

同时现存IPP...P的非可分级视频编码方式中不存在时域分级结构，不能实现帧率可调的功能；而且对于时域分级结构的编码视频流，如果按照由基本层到增强层的顺序编码，这样就会存在极大的编码时延，但是很多应用场合对编码时延的要求非常高，例如视频监控、视频会议等，因此在编码过程中还需考虑如何降低时延的目的。

如果当前帧编码过程中所使用的参考帧不多于2个，那么该编码方法可以称为双帧参考编码方式，将基于双帧参考编码方式的视频流称为双帧参考视频流，例如MPEG-2、H.261、H.263以及中国的AVS等编码标准。在这些标准中，除了MPEG-2在可分级语法中定义了码流的分级语法结构，具有可分级性之外，其余的都是不可分级的编码标准。为了使得这些非可分级双帧参考视频编码标准在兼容原标准的同时能够扩充可分级的功能，而且具有低延时的特点，以迎接新的挑战，在时域可分级性方面，构建实时快速有效的时域可分级编码实现方法就显得很有意义。

在视频监控应用中，为满足监控视频的稳定传输和长期存储以及低时延的需要，使用层次P帧技术可以实现视频编码后的码流具有帧率可调整以及零时延的功能。这里的双帧参考视频流是基于现存IPP...P的非可伸缩视频编码标准，其时域可分级编码的方法是：通过对不同的P帧进行时域分级编码，其中基本层的I帧与P帧可以作为增强层P帧的参考图像，通过对图象组中的各编码帧进行时域层次标注，不同位置的P帧可以属于不同的时域层次，并且在编码增强层的P帧过程中根据时域层次级别来搜索获取当前编码P帧的一个或两个前向参考帧，通过这种方式能够灵活地丢弃增强层的P帧实现帧率调整，同时按照显示顺序对输入视频流编码，即编码顺序与显示顺序相同，从而达到实时编码，降低时延的目的。而且该技术编码结构简单，能够与原编码结构兼容，P帧作为参考帧使得在相同的图象质量下能节省较多的码率，使得码流帧率按照2的整数次幂的倍数进行伸缩。

在对这些双帧参考的视频编码标准进行时域可分级扩展时，由文献“数字音视频编解码技术标准工作组”(文献下载网址：http://www.avs.org.cn)可知，需要解决三个问题：

(1)与非可分级编码标准的兼容问题。

(2)参考帧管理问题。

(3)编码效率和时延问题。

发明内容

本发明所要解决的技术问题是：提供一种针对实时双帧参考视频流的，能够与非可分级视频编码标准相兼容的，并且能够快速实现实时时域可分级编码方法。

本发明按下述技术方案解决其技术问题：视频图像编码顺序与显示顺序一致，在编码过程中当前帧最多采用两个参考帧，且编码后的码流具有时域上的层次性；编码时，先根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照参考帧更新策略更新参考帧缓存。