[发明专利]基于帧预测神经网络的多描述视频编码方法和解码方法

说明书

基于帧预测神经网络的多描述视频编码方法和解码方法，本发明在编码端将源视频采用时间下采样的方法分为奇数帧和偶数帧，分别将奇数帧和偶数帧组成两个新的序列，通过HEVC编码器进行编码。针对时间下采样所导致的帧丢失问题，采用帧预测神经网络来分别预测对应序列中所丢失的帧。将预测帧与对应序列的已编码视频帧相减获得残差信息，与当前序列已编码信息组成一个描述。将两个描述的码流打包分别通过不同的信道传输到解码端。本发明方法构成的多描述视频编码使码流具有一定的差错恢复能力，解码端可充分利用描述间的相关信息保证解码端在不可靠网络传输下的高质量视频重建。

技术领域

本发明涉及误差补偿领域，特别是指一种基于帧预测神经网络的多描述视频编码方法和解码方法。

背景技术

近年，随着多媒体技术和互联网技术的快速发展，视频通信与视频应用(比如远程医疗、视频会议、远程教学)等得到了广泛地推行，极大地丰富了人们的生活，提高了人们生活的幸福指数。与此同时，人们对超高分辨率(3840×2160、7680×4320)、高帧率(120fps)的视频的需求也日益增长。随着视频分辨率与帧率的提高，互联网传输的多媒体数据量爆炸式地增长。在满足高清及超高清视频传输的需求背景下，新一代视频编码标准HEVC应运而生。

新一代视频编码标准HEVC虽然具有压缩率高的优点，但是仍具抗容错能力低的缺点。而在实际的应用中，不可靠信道普遍存在，比如信道干扰，网络拥塞，无线信道的突发错误等。当视频码流经过不可靠信道传输时，容易产生数据包丢失、比特错误等现象，从而导致接收端接收到的视频质量严重下降。

因此多描述编码是一种用于不可靠网络传输视频的有效技术，它将源视频划分为两个或两个以上的子视频，子视频之间既有自己的特有信息又有其他描述的保护信息，对于多描述而言，保护信息具有重要的作用，它提供了有效的错误恢复能力，提高解码端的视频质量。随着接受到的描述数量的增多，解码端的视频质量也会随之变好。因此，研究具有容错能力的HEVC多描述视频编码方法十分必要。

发明内容

本发明的主要目的在于结合深度学习方法设计具有容错能力的多描述视频编码方法，提出一种基于帧预测神经网络的多描述视频编码方法。

本发明采用如下技术方案：

一种基于帧预测神经网络的多描述视频编码方法，其特征在于，包括如下步骤：

A1)将输入视频分为奇数帧序列F_O和偶数帧序列F_E，分别经HEVC编码器进行编码得到重建后的奇数帧序列F'_O和偶数帧序列F'_E；

A2)将奇数帧序列F'_O和偶数帧序列F'_E分别输入帧预测神经网络FP-CNN中得到预测的偶数帧序列F'_EI和预测的奇数帧序列F'_OI；

A3)将预测的偶数帧序列F'_EI和重建后的偶数帧序列F'_E相减获得偶残差F_EIR，将预测的奇数帧序列和重建后的奇数帧序列F'_O相减获得奇残差F_OIR；

A4)将偶残差F_EIR和奇残差F_OIR分别经过残差编码获得偶残差码流F_ESI和奇残差码流F_OSI；

A5)将重建后的奇数帧序列F'_O和偶残差码流F_ESI打包成描述1，将重建后的偶数帧序列F'_E和奇残差码流F_OSI打包成描述2，分别通过不同的信道传输到解码端。