[发明专利]支持解码压缩帧缓存自适应分配的编码方法及应用

说明书

本发明公开了支持解码压缩帧缓存自适应分配的编码方法及应用，涉及视频处理技术领域。一种支持解码压缩帧缓存自适应分配的编码方法,包括步骤:在编码器端对解码器端的帧缓存压缩率进行预计算和设置,并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流；将前述视频压缩码流传输至解码器端；解码器端根据收到的每个重建帧所需的实际帧缓存大小信息来预分配每一帧的帧缓存。本发明将帧缓存再压缩技术和颗粒化帧缓存管理技术相结合，支持多路解码视频服务器为每一路视频的每一帧解码自适应的分配帧缓存空间，实现了对服务器片外存储资源的最优化利用。

技术领域

本发明涉及视频处理技术领域。

背景技术

在视频系统服务器端，通常需要支持对多路输入编码视频同时进行解码。普通解码器的信息传输过程参见图1所示，每一路视频解码需要分配独立的解码帧缓存，用来存放参考帧图像、重建帧图像和显示帧图像，如果没有足够的帧缓存空间时，解码器将无法正常工作。通常来说，帧缓存需要分配的大小等于缓存的帧数乘以每一帧的存储大小，每一帧的存储大小由图像分辨率决定，对同一个视频序列为固定值。随着超高清视频的广泛应用和编码标准支持使用的参考帧数量的增加，服务器端需要为多路视频解码分配的DDR(DoubleData Rate SDRAM)存储空间非常可观。片外存储器成本是视频系统成本的重要部分之一，很多时候视频服务器能支持的并行解码通道数受限于片外DDR可用空间的限制，不能按照解码器的最大能力运行。此外，越来越多的人工智能应用也需要巨大的片外存储空间，解码器占用过多资源也限制了视频系统智能计算的能力。

现有的视频解码器，一般可以根据输入编码视频的实际分辨率来分配每一帧的片外帧缓存空间大小，根据实际需要的参考帧数量来分配帧缓存的帧数：如此可以实现缓存分配一定程度的自适应。但对于输入分辨率确定和参考帧数量确定的多通道并行解码应用场景——比如安防监控系统，现有的技术方案往往只能对每个通道分配恒定的帧缓存大小，无法进一步实现自适应优化。

同时，随着图像分辨率的提升，视频解码的带宽也显著增加。最新的超高清硬件解码器中大都开始采用帧缓存再压缩的技术，将输出的重建帧进行压缩后存储，以减少带宽需求，参见图2所示。因为压缩后的重建帧会作为参考帧供后续预测参考，不能有损失，所以帧缓存压缩需要采用无损压缩的方法。但是，由于无损压缩的原因，帧缓存的压缩率受图像内容影响波动很大，且无法预测，所以解码器仍然只能为每一帧图像按照最大空间进行分配(实际应用时，由于要额外增加压缩模式信息，一般再压缩帧缓存的大小需要大于未压缩时每帧分配的大小)。

对于输入视频分辨率和参考帧数量确定的多路解码应用场景，现有的视频解码系统所需分配的解码帧总的缓存空间尺寸是恒定的，其大小等于并行解码通道数*每个通道的缓存帧数*每一帧的缓存大小。比如16路4K H265视频并行解码，每路3帧缓存算，服务器就需要为视频解码总共分配600MB以上缓存空间，视频系统所需的片外存储器成本非常高。根据实验可知，当前已有的各种无损帧缓存压缩技术对各种自然视频的压缩率平均在50％左右。也就是说，在采用了帧缓存压缩技术的实际解码应用中，大约一半的帧缓存空间是基本处于闲置状态，而由于无法预知解码帧缓存压缩率，为了保证兼容最坏情况，这些闲置空间并未被充分利用。

发明内容

本发明的目的在于：克服现有技术的不足，提供了一种支持解码压缩帧缓存自适应分配的编码方法及应用。本发明提供的编码方法，将帧缓存再压缩技术和颗粒化帧缓存管理技术相结合，支持多路解码视频服务器为每一路视频的每一帧解码自适应的分配帧缓存空间，实现了对服务器片外存储资源的最优化利用。

为实现上述目标，本发明提供了如下技术方案：

一种支持解码压缩帧缓存自适应分配的编码方法(包括步骤:

在编码器端对解码器端的帧缓存压缩率进行预计算和设置(并将每个重建帧所需的实际帧缓存大小信息编入视频压缩码流；

将前述视频压缩码流传输至解码器端；