[发明专利]基于帧预测神经网络的多描述视频编码方法和解码方法

权利要求书

1.一种基于帧预测神经网络的多描述视频编码方法，其特征在于，包括如下步骤：

A1)将输入视频分为奇数帧序列F_O和偶数帧序列F_E，分别经HEVC编码器进行编码得到重建后的奇数帧序列F'_O和偶数帧序列F'_E；

A2)将奇数帧序列F'_O和偶数帧序列F'_E分别输入帧预测神经网络FP-CNN中得到预测的偶数帧序列F'_EI和预测的奇数帧序列F'_OI；

A3)将预测的偶数帧序列F'_EI和重建后的偶数帧序列F'_E相减获得偶残差F_EIR，将预测的奇数帧序列和重建后的奇数帧序列F'_O相减获得奇残差F_OIR；

A4)将偶残差F_EIR和奇残差F_OIR分别经过残差编码获得偶残差码流F_ESI和奇残差码流F_OSI；

A5)将重建后的奇数帧序列F'_O和偶残差码流F_ESI打包成描述1，将重建后的偶数帧序列F'_E和奇残差码流F_OSI打包成描述2，分别通过不同的信道传输到解码端；

选取多种场景的视频，将源视频分为奇数帧和偶数帧，在不同QP值设定时，经原始HEVC编码器编解码，并将编解码后的视频作为训练的数据，原始的奇数帧或者偶数帧作为训练标签，构成数据集用于训练所述帧预测神经网络FP-CNN；所述帧预测神经网络FP-CNN包括编码器-解码器，编码器的输出特征与解码器的相同尺度的输出特征采用跳过连接的方式；

所述输入的奇数帧序列F'_O和偶数帧序列F'_E经编码器和解码器进行特征提取，所提取的特征提供给四个子网络；每个子网络用1维内核以密集的像素方式估计1/4的输出像素，再将估计的像素内核与奇数帧序列F'_O或偶数帧序列F'_E中相连的两帧视频帧进行局部卷积以生成所述预测的偶数帧序列F'_EI或预测的奇数帧序列F'_OI；

编码器和解码器设有卷积层、平均池化层和双线性上采样层；每个所述子网络包括一个双线性上采样层和三个卷积层。

2.一种基于帧预测神经网络的多描述视频解码方法，其特征在于，包括如下步骤：

B1)解码端接收描述1和描述2，判断是否产生丢失视频帧，若否，则对描述1和描述2的奇数帧和偶数帧按照奇偶帧的顺序上采样，得到全帧率的解码重建视频序列；若是，则进入步骤B2)；

B2)将描述1和描述2经HEVC标准解码器解码后获得重建后的奇数帧序列F'_O和偶数帧序列F'_E，将重建后的奇数帧序列F'_O和偶数帧序列F'_E分别输入帧预测神经网络FP-CNN中得到预测的偶数帧序列F'_EI和预测的奇数帧序列F'_OI；

B3)将偶残差F_ESI和奇残差F_OSI分别经过残差解码后，获得解码后的偶残差F'_ESI和解码后的奇残差F'_OSI；

B4)利用预测的偶数帧序列F'_EI和偶残差F'_ESI获得丢失的偶数帧，利用预测的奇数帧序列F'_OI和偶残差F'_OSI获得丢失的奇数帧，再用偶数帧与偶数帧序列F'_E，奇数帧与奇数帧序列F'_O按照奇偶帧顺序上采样重建视频序列；

选取多种场景的视频，将源视频分为奇数帧和偶数帧，在不同QP值设定时，经原始HEVC编码器编解码，并将编解码后的视频作为训练的数据，原始的奇数帧或者偶数帧作为训练标签，构成数据集用于训练所述帧预测神经网络FP-CNN；

所述帧预测神经网络FP-CNN包括编码器-解码器，编码器的输出特征与解码器的相同尺度的输出特征采用跳过连接的方式；所述输入的奇数帧序列F'_O和偶数帧序列F'_E经编码器和解码器进行特征提取，所提取的特征提供给四个子网络；

每个子网络用1维内核以密集的像素方式估计1/4的输出像素，再将估计的像素内核与奇数帧序列F'_O或偶数帧序列F'_E中相连的两帧视频帧进行局部卷积以生成所述预测的偶数帧序列F'_EI或预测的奇数帧序列F'_OI；

所述编码器和解码器设有卷积层、平均池化层和双线性上采样层；每个所述子网络包括一个双线性上采样层和三个卷积层。