[发明专利]基于编码损伤修复的视频超分辨方法

摘要

本发明提出了一种基于编码损伤修复的视频超分辨方法，其实现步骤为：构建深度卷积神经网络；生成训练数据集；训练深度卷积神经网络；对视频图像进行下采样；对低分辨率视频进行编解码；对重建视频进行图像超分辨处理。本发明解决了现有视频图像超分辨方法中存在的无法达到实时处理要求、针对图像编码损伤的修复不足与放大尺度不足的问题，增强了网络针对编码损伤的学习能力，提升了图像超分辨的处理范围、处理速度与解码后的视频质量。

主权项

1.一种基于编码损伤修复的视频超分辨方法，其特征在于，通过构建深度卷积神经网络，生成训练集并训练，用于对低码率低清晰度视频图像进行图像超分辨率处理，该方法的具体步骤包括如下：/n步骤1，构建深度卷积神经网络：/n第一步，搭建一个46层的第一子网络，其结构依次为：第一卷积层→ReLU激活层→10个级联的卷积块→第一反卷积层→ReLU激活层→10个级联的卷积块→第一反卷积层→ReLU激活层，每个卷积块由一个第二卷积层与一个ReLU激活层串联组成；/n第二步，搭建一个由两个第二反卷积层串联组成的第二子网络；/n第三步，将第三卷积层的一端跨接在第一子网络中的ReLU激活层和10个级联的卷积块间，另一段跨接在第二子网络的第二反卷积层和第二反卷积层间，组成深度卷积神经网络；/n第四步，设置深度卷积神经网络的各层参数：/n将第一、第二、第三卷积层的卷积核均设置为3，输入通道数分别为1、48、48，输出通道数分别为48、48、1，步长均为1；/n将第一和第二反卷积层的卷积核均设置为4，输入通道数分别为48、1，输出通道数分别为48、1，步长均为2；/n步骤2，生成训练数据集：/n随机选取至少700幅高清自然图像，每幅图像的长至少为1280像素，宽至少为720像素，且长和宽分别为8的倍数；将所选的每幅图像转换成YUV420p数据格式图像；对每幅转换格式后的YUV420p数据格式图像进行2倍下采样，得到多幅中分辨率图像；对每幅YUV420p数据格式图像进行4倍下采样，得到多幅低分辨率图像；/n将每幅低分辨率图像输入到视频编码器中进行编码，得到编码后的图像编码码流；将编码后的图像编码码流输入到解码器中进行解码，得到多幅解码后的低分辨率重建图像；/n将所有YUV420p数据格式图像、中分辨率图像、低分辨率重建图像构成一个训练集；/n步骤3，训练深度卷积神经网络：/n初始化深度卷积神经网络，将训练集输入到深度卷积神经网络中，在网络中遍历训练集，采用随机梯度下降法，对深度卷积神经网络的参数进行迭代更新，直到图像损失loss值的均值收敛后终止迭代，得到训练好的深度卷积神经网络；/n步骤4，对视频图像进行下采样：/n依次从输入的由多幅高分辨图像序列组成的视频中提取一幅未选择过的图像；/n对所提取的每一幅图像进行4倍下采样，将所有下采样后的低分辨率视频图像依序组成一个低分辨率视频；/n步骤5，对低分辨率视频进行编解码：/n将低分辨率视频输入到编码器中进行编码，得到编码后的视频码流；/n将编码后视频码流输入到解码器中进行解码，得到解码后的重建视频；/n步骤6，对重建视频进行图像超分辨处理：/n依次从解码后的重建视频中提取一幅未选择过的图像；将所提取的每一幅图像输入训练好的深度卷积神经网络中，将所有图像分别经一次2倍放大和两次2倍放大后得到的中分辨率视频图像与高分辨率视频图像依序组成一个中分辨率视频和一个高分辨率视频，输出两个视频。/n