[发明专利]基于编码损伤修复的视频超分辨方法

权利要求书

1.一种基于编码损伤修复的视频超分辨方法，其特征在于，通过构建深度卷积神经网络，生成训练集并训练，用于对低码率低清晰度视频图像进行图像超分辨率处理，该方法的具体步骤包括如下：

步骤1，构建深度卷积神经网络：

第一步，搭建一个46层的第一子网络，其结构依次为：第一卷积层→ReLU激活层→10个级联的卷积块→第一反卷积层→ReLU激活层→10个级联的卷积块→第一反卷积层→ReLU激活层，每个卷积块由一个第二卷积层与一个ReLU激活层串联组成；

第二步，搭建一个由两个第二反卷积层串联组成的第二子网络；

第三步，将第三卷积层的一端跨接在第一子网络中的ReLU激活层和10个级联的卷积块间，另一段跨接在第二子网络的第二反卷积层和第二反卷积层间，组成深度卷积神经网络；

第四步，设置深度卷积神经网络的各层参数：

将第一、第二、第三卷积层的卷积核均设置为3，输入通道数分别为1、48、48，输出通道数分别为48、48、1，步长均为1；

将第一和第二反卷积层的卷积核均设置为4，输入通道数分别为48、1，输出通道数分别为48、1，步长均为2；

步骤2，生成训练数据集：

随机选取至少700幅高清自然图像，每幅图像的长至少为1280像素，宽至少为720像素，且长和宽分别为8的倍数；将所选的每幅图像转换成YUV420p数据格式图像；对每幅转换格式后的YUV420p数据格式图像进行2倍下采样，得到多幅中分辨率图像；对每幅YUV420p数据格式图像进行4倍下采样，得到多幅低分辨率图像；

将每幅低分辨率图像输入到视频编码器中进行编码，得到编码后的图像编码码流；将编码后的图像编码码流输入到解码器中进行解码，得到多幅解码后的低分辨率重建图像；

将所有YUV420p数据格式图像、中分辨率图像、低分辨率重建图像构成一个训练集；

步骤3，训练深度卷积神经网络：

初始化深度卷积神经网络，将训练集输入到深度卷积神经网络中，在网络中遍历训练集，采用随机梯度下降法，对深度卷积神经网络的参数进行迭代更新，直到图像损失loss值的均值收敛后终止迭代，得到训练好的深度卷积神经网络；

步骤4，对视频图像进行下采样：

依次从输入的由多幅高分辨图像序列组成的视频中提取一幅未选择过的图像；

对所提取的每一幅图像进行4倍下采样，将所有下采样后的低分辨率视频图像依序组成一个低分辨率视频；

步骤5，对低分辨率视频进行编解码：

将低分辨率视频输入到编码器中进行编码，得到编码后的视频码流；

将编码后视频码流输入到解码器中进行解码，得到解码后的重建视频；

步骤6，对重建视频进行图像超分辨处理：

依次从解码后的重建视频中提取一幅未选择过的图像；将所提取的每一幅图像输入训练好的深度卷积神经网络中，将所有图像分别经一次2倍放大和两次2倍放大后得到的中分辨率视频图像与高分辨率视频图像依序组成一个中分辨率视频和一个高分辨率视频，输出两个视频。

2.根据权利要求1所述的基于编码损伤修复的视频超分辨方法，其特征在于，步骤2和步骤5中所述编码方法如下：

采用固定量化参数QP对步骤2中的每幅低分辨率图像进行帧内预测编码，其量化参数QP取值范围为[0,51]；

采用与上述相同的量化参数QP值对步骤5中的低分辨率视频进行帧内预测编码。

3.根据权利要求1所述的基于编码损伤修复的视频超分辨方法，其特征在于，步骤3中所述迭代更新深度卷积神经网络参数的方法如下：

第一步，将深度卷积神经网络的参数均初始化为高斯随机数，所述高斯随机数的均值为0，方差为1。

第二步，按照下式，计算所有图像损失loss值的均值：

其中，表示所有视频图像损失值的均值，/表示深度卷积神经网络生成的所有中分辨率、高分辨率视频图像，y表示所有上述图像对应的训练集中的标签图像，∑表示求和操作，θ表示深度卷积神经网络中需要被迭代更新的参数，N表示批处理的大小，为Charbonnier惩罚函数，/表示深度卷积神经网络生成的第i幅被放大s次的图像，s＝1与s＝2时分别生成中分辨率与高分辨率视频图像，/表示与上述图像对应的训练集中的标签图像；

第三步，按照下式，更新深度卷积神经网络中的每一个参数值，直至图像损失loss值的均值收敛：

其中，θ′_x表示深度卷积神经网络中第个参数更新后的值，θ_x表示深度卷积神经网络中第x个参数更新前的值，表示求导操作。/