[发明专利]一种提高视频空间分辨率的方法

权利要求书

1.一种提高视频空间分辨率的方法，其特征在于，具体步骤如下：

(1)视频相邻帧之间运动补偿并融合多帧信息

分别对视频序列中的每一帧视频，结合其相邻的4帧视频信息后单独做超分处理，以实现视频超分；设第n帧视频为I_n，首先对于视频插帧算法中的网络结构加以改进，用于执行视频超分过程中的相邻帧的运动补偿，即对于每一帧的超分：将该帧In与其前后各两帧：I_n-2、I_n-1、I_n+1、I_n+2合并为lr，lr＝{I_n-2,I_n-1,I_n,I_n+1,I_n+2}，作为网络的低分辨率输入；为每一个相邻帧分别计算8对在纵向和横向上的一维核{(v₁，h₁)、(v₂，h₂)、...、(v₈，h₈)}，v、h分别表示求出的垂直、水平方向的核；总共得到32对一维卷积核，记为：(v_n-2,1,h_n-2,1)、(v_n-2,2,h_n-2,2)、...、(v_n-2,8,h_n-2,8)、(v_n-1,1,h_n-1,1)、(v_n-1,2,h_n-1,2)、...、(v_n-1,8,h_n-1,8)、(v_n+1,1,h_n+1,1)、(v_n+1,2,h_n+1,2)、...、(v_n+1,8,h_n+1,8)、(v_n+2,1,h_n+2,1)、(v_n+2,2,h_n+2,2)、...、(v_n+2,8,h_n+2,8)，其中，(v_i,j，h_i,j)表示为第i帧求出的第j对一维卷积核；

得到32个一维核后，每对核分别与网络的输入lr进行卷积得到1个feature map，一共得到32个feature map：f_n-2,1、f_n-2,2、...、f_n-2,8、f_n-1,1、f_n-1,2、...、f_n-1,8、f_n+1,1、f_n+1,2、...、f_n+1,8、f_n+2,1、f_n+2,2、...、f_n+2,8，其中，f_i,j表示使用核(v_i,j，h_i,j)对lr进行卷积处理后得到的feature map；最后再将这些feature map与当前帧聚合起来作为网络此步的输出q：

q＝{In,f_n-2,1,...,f_n-2,8,f_n-1,1,...,f_n-1,8,f_n+1,1,...,f_n+1,8,f_n+2,1,...,f_n+2,8}，并将其输入下一步网络中；这样同时实现了视频超分过程中相邻帧运动信息抵消和相邻帧图像的特征信息与当前帧图像融合；

(2)重构当前帧

将上一步得到的特征图与当前帧的合并结果q输入到单视频帧重构的网络中；这一步类似于图像超分的过程，首先对输入信号进行预处理，再将其经过一个基于gated highwayunit的超分网络结构，执行若干次gated highway unit中定义的操作，得到当前帧的残差图，将上采样后的当前低分辨率帧与该残差图结合，得到网络最终输出的高分辨率视频帧