[发明专利]基于生成对抗网络的视频超分辨率重建算法

摘要

本发明公开了一种基于生成对抗网络的视频超分辨率重建算法，该方法包括以下步骤：利用判别算法模型与生成算法模型以交替的方式进行训练，不断优化训练结果，以解决二元博弈问题。与现有技术相比，本发明通过含有残差网络的生成网络生成图像中的纹理信息，以实现现有技术难以达到的重建鲁棒性低的问题。

主权项

1.一种基于生成对抗网络的视频超分辨率重建算法，其特征在于，该方法包括以下步骤：利用判别算法模型与生成算法模型以交替的方式进行训练，不断优化训练结果，以解决二元博弈问题：其中，θG、θD分别表示生成器G与判别器D的训练参数，ILR表示待重建的低分辨率图像，IHR表示高分辨率图像，表示真实图像的概率分布，表示生成图像的概率分布；其中：该生成算法模型具体包括以下处理：(1)预处理，将视频进行分帧，依次取连续的5帧Yt-2,Yt-1,Yt,Yt+1,Yt+2，对每帧图像基于中间帧做运动补偿，采用经典的光流算法Horn-Schunck算法将图像具有连续性的光流场E表达如下：上式中，假定图像上某一像素点P＝(x,y)T在时刻t的灰度值为I(x,y,t)，则分别代表图像灰度沿着x,.y,t轴上的偏导函数，代表x,y方向上的光流，分别代表u,v在x,y轴上的偏导函数。第一项为数据项；第二项为平滑项；α为平滑项因子，它决定了图像数据与平滑约束的可信度；(2)将预处理的图像通过融合层进行融合后，选取若干个相同的残差块进行训练，每一残差块包括3*3的卷积核及64个特征图的卷积网络，批量正则化层、修正线性单元作为激活函数：Fi(Y)＝max(Wi*Fi-1(Y))+Bi,0)其中，i表示第i个卷积层，i-1表示上一层网络层，Fi-1(Y)，Fi(Y)表示i层，i-1层的输出，Wi，Bi分别表示表示i层的权值参数及常量参数；在解码的过程中，使用两层子像素卷积层来提高输入图像的分辨率)；判别算法模型包含6个滤波器内核的卷积层，即在VGG网络中选取从64到256个内核的2*因子的若干层特征图，经过两个全连接层Dense层后，采用Sigmoid形激活函数来获得此图像是来自实际高分辨率图像还是生成的超分辨率图像的概率。