[发明专利]一种基于条带划分的低延迟帧内编码方法

说明书

技术领域

本发明涉及一种新的低延迟帧内编码方法，尤其涉及一种基于条带划分的低延迟帧内编码，属于计算机视觉技术领域。

背景技术

随着网络技术和终端处理能力的不断提高和发展，为了不断提高压缩性能，ITU和ISO组织推出了一系列视频编码标准，包括ITU组织的H.26x系列和ISO组织的MPEG-x系列标准，以及最新制定的HEVC标准。最新的HEVC标准致力于满足于用户的1)高清，2)3D，3)移动无线，以满足新的家庭影院、远程监控、数字广播、移动流媒体、便携摄像、医学成像等新领域的需求。在HEVC标准中有多种配置模式，包括HE(High Efficiency)高性能、LC(Low Complexity)低复杂度配置。

在这些编码标准中，主要分为两类：一类是面向存储的，另一类是面向传输的。以H系列为主为面向传输的，以Mpeg系列为主是面向存储的。视频编码标准虽然制定的组织不同，完成的年代及应用的背景方面并不相同，但是采用的基本编码框架却是相同的，多采用运动补偿+DCT的基本框架。这种框架下视频帧一般分为I(Intra-frame)、P(Predictive-frame)、B(Bidirectionally predicted-frame)三种类型：I帧通过变换、量化等过程完成编码；P帧以前向已编码帧的重建图像为参考，进行运动补偿后编码残差；B帧则以前后双向已编码帧的重建图像为参考，进行运动补偿后编码残差。

在三种类型的视频帧中，虽然I帧的个数比较少，但其每帧编码位数却远高于P、B帧，在最终生成的码流中也占有相当比例，在H.264标准中，I/P帧的压缩比分为：I：P＝1：3～5，也即I帧的位率是P帧的3～5倍，而在HEVC标准中，随着新的复杂技术的引入，I帧与P帧的压缩比进一步扩大，在某些视频中，可以达到1：10。对于输出码率恒定(CBR)的视频流，I帧的码率突然增大，将直接导致减少后续P/B帧的编码位数的下降，进而影响到恢复图像和预测图像的质量。提高I帧的压缩比，不仅对于视频质量的稳定性与连续性起到了至关重要的作用，而且会降低编解码系统的延迟。也即，如果I帧的码率过高，将会导致占用更多的网络带宽来传输压缩码流。

在视频编码过程中，尤其是移动平台下，对于带宽和复杂度都有要求的情况下，希望编解码算法做到低延迟和低复杂度。在视频的编码过程中，延迟主要有两个原因引起的：

(1)编解码固有的时间，如果编解码速度都能够达到实时，那么将不会有延时产生。

(2)信道传输，如果信道足够宽，没有拥挤也不会有延迟产生。

如果不考虑信道的问题，那么如何降低编解码的固有延迟就显得十分重要。一个编解码系统的延迟由以下几个部分组成(见图1)，包括图像信息采集、压缩处理、发送缓冲区、数据链路传输、接收缓冲区、解压缩、图像数据格式转换和显示等环节的延迟。在帧率为25帧/秒的实时编码情况下，一帧图像采集完成后编码器在40ms内完成压缩处理；当编码的帧类型为I-P时，编码输出的位数比一般为8：3，因此通常设定的缓冲区大小为每帧平均码流量的3.5～4倍，以满足I帧码流的缓存。通过数据链路传输后，解码端收到压缩码流就进行解压缩处理，最后在显示设备进行显示。在图1中，假定以下两种情况：

1)：数据链路传输在整个编解码过程中都是固定的，(CBR类型信道)，不计入延迟。

2)：在实时采集、处理、传输系统中，接收缓冲区与解压缩过程是并行处理的，可以只计算一个时间。

在标准的编码框架下，以帧为基本单元，那么编解码系统总延迟分析如下：采集时间T1采集一帧图像所需的时间，以PAL制标准为例，TI＝1000/25＝40ms。

编码时间T2：在实时编码的情况下，编码一帧图像的时间为：T2＝40ms。码流发送时间T3：对延迟影响比较大的部分是发送缓冲区，设置缓冲区是为了解决变码率码流的传输和存储问题。缓冲区越大，越能够承受码率的波动，但造成的延迟也越大，反之亦然。以I帧编码为例，产生的码流可能会充满个缓冲区的3/4，所以发送缓冲区延迟一般为T3＝3×40＝120ms，在缓冲区被充满的极端情况下可能会导致140ms～160ms的延迟。

码流接收时间T4：以解压缩图第一帧图像并进行图像数据格式转换的时间，这里记为T4＝25ms。