[发明专利]视频压缩、解压缩方法及装置、电子设备和存储介质

说明书

本公开涉及一种视频压缩、解压缩方法及装置、电子设备和存储介质，应用于视频压缩端的视频压缩方法包括：根据目标视频帧对应的向后参考帧和向前参考帧，确定所述目标视频帧对应的光流预测残差和B帧预测残差，其中，所述向后参考帧是第一视频帧对应的重建帧，所述向前参考帧是第二视频帧对应的重建帧，所述第一视频帧、所述目标视频帧和所述第二视频帧是目标视频中按时序前后排列的原始视频帧；利用预设码率控制系数，对所述光流预测残差和所述B帧预测残差进行压缩，得到所述目标视频帧对应的压缩B帧。本公开实施例提高了视频压缩的压缩率，实现了灵活性较高的变码率视频压缩。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种视频压缩、解压缩方法及装置、电子设备和存储介质。

背景技术

基于深度学习的视频压缩技术进展快速，在一些场景中视频压缩率已经可以超越H.265，是目前视频压缩研究的一个热点方向。相关技术中，基于深度学习训练得到的神经网络，仅支持帧内编码的I帧压缩，和/或，单侧帧间编码的P帧压缩，导致视频压缩率较低。

发明内容

本公开提出了一种视频压缩、解压缩方法及装置、电子设备和存储介质技术方案。

根据本公开的一方面，提供了一种视频压缩方法，所述视频压缩方法应用于视频压缩端，所述视频压缩方法包括：根据目标视频帧对应的向后参考帧和向前参考帧，确定所述目标视频帧对应的光流预测残差和B帧预测残差，其中，所述向后参考帧是第一视频帧对应的重建帧，所述向前参考帧是第二视频帧对应的重建帧，所述第一视频帧、所述目标视频帧和所述第二视频帧是目标视频中按时序前后排列的原始视频帧；利用预设码率控制系数，对所述光流预测残差和所述B帧预测残差进行压缩，得到所述目标视频帧对应的压缩B帧。

在一种可能的实现方式中，所述根据目标视频帧对应的向后参考帧和向前参考帧，确定所述目标视频帧对应的光流预测残差，包括：根据所述目标视频帧、所述向后参考帧和所述向前参考帧，确定第一向前光流、第二向前光流、第一向后光流和第二向后光流；利用插值法对所述第一向前光流和所述第一向后光流进行光流预测，得到向前预测光流和向后预测光流；根据所述第二向前光流和所述向前预测光流确定向前光流预测残差，以及根据所述第二向后光流和所述向后预测光流，确定向后光流预测残差。

在一种可能的实现方式中，所述确定所述目标视频帧对应的B帧预测残差，包括：对所述向前光流预测残差和所述向后光流预测残差进行编码，得到所述目标视频帧对应的第一编码特征；根据所述第一编码特征、所述向后参考帧和所述向前参考帧，确定所述B帧预测残差。

在一种可能的实现方式中，所述根据所述第一编码特征、所述向后参考帧和所述向前参考帧，确定所述B帧预测残差，包括：对所述第一编码特征进行解码，得到向前重建光流预测残差和向后重建光流预测残差；根据所述向前重建光流预测残差和所述向前预测光流确定向前重建光流，以及根据所述向后重建光流预测残差和所述向后预测光流，确定向后重建光流；根据所述向后参考帧、所述向前参考帧、所述向前重建光流和所述向后重建光流，确定所述目标视频帧对应的预测B帧；根据所述目标视频帧和所述预测B帧，确定所述B帧预测残差。

在一种可能的实现方式中，所述根据所述向后参考帧、所述向前参考帧、所述向前重建光流和所述向后重建光流，确定所述目标视频帧对应的预测B帧，包括：根据所述向前重建光流对所述向后参考帧进行空间变换，得到第一变换视频帧；根据所述向后重建光流对所述向前参考帧进行空间变换，得到第二变换视频帧；根据所述第一变换视频帧和所述第二变换视频帧，生成所述预测B帧。

在一种可能的实现方式中，所述根据所述第一变换视频帧和所述第二变换视频帧，生成所述预测B帧，包括：根据所述向后参考帧对所述第一变换视频帧进行优化，得到第一优化视频帧；根据所述向前参考帧对所述第二变换视频帧进行优化，得到第二优化视频帧；根据所述第一优化视频帧和所述第二优化视频帧，生成所述预测B帧。