[发明专利]一种基于精简卷积神经网络的快速视频超分辨率重建方法

摘要

本发明涉及一种基于精简卷积神经网络的快速视频超分辨率重建方法，其既能利用视频帧之间的邻域信息，又保证重建速度。首先，考虑到输入的尺寸大小会直接影响网络的运算速度，本发明网络省去传统方法的预插值过程，直接对多个低分辨率输入视频帧提取特征，并进行多维特征通道融合；接着，为了避免网络中产生零梯度而丢失视频的重要信息，采用参数线性纠正单元作为激活函数，并采用更小的滤波器尺寸调整网络结构以进行多层映射；最后，在网络末端添加反卷积层上采样得到重建视频。同时，本发明还采用网络迁移策略快速实现了不同缩放因子下的重建模型，重建的视频图像中能够保留更多高频细节信息，同时重建速度更快。

主权项

1.一种基于精简卷积神经网络的快速视频超分辨率重建方法，其特征在于：包括以下步骤：(1)、建立网络结构：a、将当前帧、当前帧的前两帧以及当前帧的后两帧，共五帧作为系统的输入量，表示为XT，索引T∈{t‑2,t‑1,t,t+1,t+2}，其中t表示当前时刻，并用Yt表示重建的当前视频帧；b、将输入量XT通过特征提取及通道融合法获取到融合输出量，记为H1，然后将H1通过特征映射法获取到映射后的输出量，记为H2，再将H2通过反卷积重建法得到网络结构中重建的当前视频帧Yt；(2)、训练网络结构：将训练集记为其中X_t^(k)表示t时刻第k个视频样本的低分辨率视频帧训练子图像，Z_t^(k)表示t时刻第k个视频样本的原始全分辨视频帧训练子图像，N表示训练样本个数，X_t^(k)与Z_t^(k)的缩放比例因子s＝2,3,4；用Y_t^(k)表示重建得到的高分辨率视频帧子图像，采用均方差作为目标函数，最小化Y_t^(k)与Z_t^(k)之间的误差，并估计各网络结构中各层的网络参数θ，用随机梯度下降法对网络参数θ进行更新；为了快速得到不同缩放因子s下的重建模型，先从零开始训练s＝3的模型A，再相应地微调网络末端的反卷积层的参数，而保持所有卷积层参数不变，分别得到s＝2和s＝4的模型B和模型C；(3)、利用训练得到的模型A、模型B以及模型C对相应缩放因子s下的低分辨率视频帧XT进行超分辨率重建，最终得到对应缩放因子s下的重建的当前视频帧Yt。