[发明专利]一种基于精简卷积神经网络的快速视频超分辨率重建方法

权利要求书

1.一种基于精简卷积神经网络的快速视频超分辨率重建方法，其特征在于：包括以下步骤：

(1)、建立网络结构：a、将当前帧、当前帧的前两帧以及当前帧的后两帧，共五帧作为系统的输入量，表示为X_T，索引T∈{t-2,t-1,t,t+1,t+2}，其中t表示当前时刻，并用Y_t表示重建的当前视频帧；b、将输入量X_T通过特征提取及通道融合法获取到融合输出量，记为H₁，然后将H₁通过特征映射法获取到映射后的输出量，记为H₂，再将H₂通过反卷积重建法得到网络结构中重建的当前视频帧Y_t；

所述的输入量X_T通过特征提取及通道融合法获取到融合输出量的具体步骤为：(b-01)、首先采用滤波器对输入量X_T进行卷积提取特征，表示成高维向量，记为H_1T，H_1T＝W_1T*X_T+b_1T，并采用参数线性纠正单元函数对H_1T进行非线性操作：H_1T＝max(H_1T,0)+a_1Tmin(0,H_1T)，其中‘*’表示卷积操作，W_1T表示对应索引T的大小为f_1T×f_1T×c_1T×n_1T的滤波器，f_1T表示滤波器W_1T的尺寸，c_1T表示输入X_T的通道数，n_1T表示滤波器W_1T的个数，b_1T表示对应索引T的1×n_1T的偏置项，a_1T表示H_1T的负数部分的系数，该层操作记为Conv(f_1T×f_1T×c_1T×n_1T)+PReLU，其中PReLU表示参数线性纠正单元函数；(b-02)、然后采用通道融合层对上述各个索引的H_1T进行融合，融合后的输出记为H₁，表示为：H₁＝[H_1t-2,H_1t-1,H_1t，H_1t+1，H_1t+2]，其中，[]操作表示将H_1T在通道维度上进行连接，即经过第一部分特征提取及通道融合层后得到的H₁包含了所有输入的n_1T维特征；

所述的将H₁通过特征映射法获取到映射后的输出量的具体步骤为：(b-11)、首先利用通道收缩模块对融合后的输出量H₁进行降维，降维后的输出记为H_2S，H_2S＝max(W_2S*H₁+b_2S,0)+a_2Smin(0,W_2S*H₁+b_2S)，其中，W_2S表示大小为f_2S×f_2S×c_2S×n_2S的滤波器，b_2S表示1×n_2S的偏置项，a_2S表示W_2S*H₁+b_2S的负数部分的系数，该层操作记为Conv(f_2S×f_2S×c_2S×n_2S)+PReLU，其中PReLU表示参数线性纠正单元函数；(b-12)、然后采用m个大小为f_2M×f_2M×c_2M×n_2M的滤波器W_2M和1×n_2M的偏置项b_2M对H_2S进行多级映射，并通过PReLU函数进行非线性变换得到特征向量，得到的特征向量记为H_2M，该层操作记为m×[Conv(f_2M×f_2M×c_2M×n_2M)+PReLU]；(b-13)、接着采用通道扩展模块对H_2M进行升维，升维后的输出记为H₂，H₂＝max(W_2E*H_2M+b_2E,0)+a_2Emin(0,W_2E*H_2M+b_2E),其中，W_2E表示大小为f_2E×f_2E×c_2E×n_2E的滤波器，b_2E表示1×n_2E的偏置项，a_2E表示W_2E*H_2M+b_2E的负数部分的系数，该操作记为Conv(f_2E×f_2E×c_2E×n_2E)+PReLU；

(2)、训练网络结构：将训练集记为其中X_t^(k)表示t时刻第k个视频样本的低分辨率视频帧训练子图像，Z_t^(k)表示t时刻第k个视频样本的原始全分辨视频帧训练子图像，N表示训练样本个数，X_t^(k)与Z_t^(k)的缩放比例因子s＝2,3,4；用Y_t^(k)表示重建得到的高分辨率视频帧子图像，采用均方差作为目标函数，最小化Y_t^(k)与Z_t^(k)之间的误差，并估计各网络结构中各层的网络参数θ，用随机梯度下降法对网络参数θ进行更新；为了快速得到不同缩放因子s下的重建模型，先从零开始训练s＝3的模型A，再相应地微调网络末端的反卷积层的参数，而保持所有卷积层参数不变，分别得到s＝2和s＝4的模型B和模型C；

(3)、利用训练得到的模型A、模型B以及模型C对相应缩放因子s下的低分辨率视频帧X_T进行超分辨率重建，最终得到对应缩放因子s下的重建的当前视频帧Y_t。

2.根据权利要求1所述的一种基于精简卷积神经网络的快速视频超分辨率重建方法，其特征在于：上述步骤(1)中，反卷积重建法的具体方法为：对升维后的输出H₂反卷积得到网络结构中重建的当前视频帧Y_t，其中，表示反卷积操作，可视为卷积操作的逆运算，W_D3和b_D3分别表示大小为f_D3×f_D3×c_D3×n_D3的反卷积滤波器和1×n_D3维向量的偏置项，该层操作记为：Deconv(f_D3×f_D3×c_D3×n_D3)。