[发明专利]基于深度学习的端到端视频压缩方法、系统及存储介质

说明书

本申请实施例中提供了一种基于深度学习的端到端视频压缩方法、系统及存储介质，本申请的基于深度学习的端到端视频压缩方法通过将目标视频分为多个图像组；然后对图像组中的关键帧进行端到端帧内编码得到关键帧编码；关键帧编码通过环路滤波网络进行重建后得到关键帧重建帧；其次，基于关键帧重建帧对图像组中的非关键帧进行端到端帧间编码得到非关键帧编码；最后，非关键帧编码通过环路滤波网络进行重建后得到非关键帧重建帧。本申请采用与传统采用的视频压缩编码器相比，可以实现端到端全局优化视频编码器，在低码率下能够取得较好的编码性能。解决了如何利用深度神经网络实现端到端视频编码的同时保证较好的率失真性能的问题。

技术领域

本申请属于数字信号处理技术领域，具体地，涉及一种基于深度学习的端到端视频压缩方法、系统及存储介质。

背景技术

视频压缩，也称视频编码，其目的是消除视频信号间存在的冗余信息。随着多媒体数字视频应用的不断发展和人们对视频云计算需求的不断提高，原始视频信源的数据量已使现有传输网络带宽和存储资源无法承受，因而经编码压缩后的视频才是宜在网络中传输中的信息，视频编码技术已成为目前国内外学术研究和工业应用的热点之一。

近年来基于深度神经网络的图像编码方法成为编码领域的研究热点，它通过端到端建模自编码器(Auto-encoder)结构，优化图像重建损失函数，并利用熵估计模型近似估算自编码器结构中瓶颈层(Bottleneck Layer)的码字分布实现率失真优化。在此基础之上，熵估计模型被不断改进提升，基于混合高斯模型以及基于高斯超先验分布熵估计模型的概率估计模型被提出，并结合基于自回归模型(Auto-regressive)的PixelCNN框架建立瓶颈层码字的上下文模型。这一类端到端图像压缩的目标函数可以表示为：其中，x和分别代表原始像素与瓶颈层未量化像素，y和分别代表瓶颈层未量化及量化后的码字，C为常数。

端到端神经网络对于视频压缩有着重要的意义。传统的混合编码框架及各个编码工具的局部率失真优化已经发展了半个世纪，在面临更高效的视频压缩时遭遇了新的挑战。常见的端到端视频编码技术主要通过设计整体可训练的网络分别用于视频编码帧内编码、帧间预测、残差编码和码率控制等模块。但是对应保证视频压缩框架的整体率失真性能仍然具有很大的挑战，因此设计开发一种利用深度神经网络实现端到端视频编码的同时可以保证较好的率失真性能的视频压缩方法及系统显得是至关重要。

发明内容

本发明提出了一种基于深度学习的端到端视频压缩方法、系统及存储介质，旨在解决现有技术中视频压缩编码中无法保证较好率失真性能的问题。

根据本申请实施例的第一个方面，提供了一种基于深度学习的端到端视频压缩方法，包括以下步骤：

将目标视频分为多个图像组；

对图像组中的关键帧进行端到端帧内编码得到关键帧编码数据；

关键帧编码数据通过环路滤波网络进行重建后得到关键帧重建帧；

基于关键帧重建帧对图像组中的非关键帧进行端到端帧间编码得到非关键帧编码数据；

非关键帧编码数据通过环路滤波网络进行重建后得到非关键帧重建帧。

可选地，基于关键帧重建帧对图像组中的非关键帧进行端到端帧间编码得到非关键帧编码数据，具体包括：

基于关键帧重建帧对图像组中的非关键帧进行运动场估计得到运动场信息；

根据运动场信息得到非关键帧的帧间预测信息；

根据非关键帧的帧间预测信息以及非关键帧进行预测残差编码。

可选地，对图像组中的关键帧进行端到端帧内编码得到关键帧编码数据，具体采用基于超先验模型网络的端到端自编码器结构帧内编码框架，自编码器的瓶颈层进行上下文建模。