[发明专利]一种基于神经网络的对齐外插帧方法

权利要求书

1.一种基于神经网络的对齐外插帧方法，其特征在于，包括：

将目标帧分成指定大小的M个块，选择距离目标帧最近且连续的N个过去帧，对于目标帧中的每个块，均分别从每一过去帧中找到最相似的块进行对齐，获得N个对齐块；其中，N与M均为设定的自然数；

对于目标帧中的每个块，将N个对齐块输入至多尺度及残差的网络中，学习目标帧与各个过去帧之间的差异，并预测得到1个外插块；

将所有外插块按照对应的位置关系拼接得到对齐外插帧；

其中，所述选择距离目标帧最近且连续的N个过去帧，对于目标帧中的每个块，均分别从每一过去帧中找到最相似的块进行对齐，获得N个对齐块的步骤包括：

目标帧记为I_t，距离目标帧最近且连续的N个过去帧记为I_t-1,I_t-2,…,I_t-N；对齐包括两步：

第一步为对齐目标帧I_t与I_t-1帧，得到I_t-1帧的对齐块；

第二步为基于I_t-1帧的对齐块，对齐目标帧I_t与N个过去帧I_t-1,I_t-2,…,I_t-N，得到I_t-2帧至I_t-N帧的对齐块。

2.根据权利要求1所述的一种基于神经网络的对齐外插帧方法，其特征在于，第一步采用如下两种方式中的任一种：

第一种方式为：以目标帧I_t的目标块的原始值作为运动估计的模板，在I_t-1帧中进行整像素运动估计，将平均绝对值误差最小的块作为I_t-1帧的对齐块；

第二种方式为：基于目标帧I_t与I_t-1帧之间的运动小于设定值的假设，采用固定位置的方式，得到I_t-1帧的对齐块。

3.根据权利要求1或2所述的一种基于神经网络的对齐外插帧方法，其特征在于，第二步所使用的对齐方式包括：

对于目标帧I_t中的目标块，以第一步获得的I_t-1帧的对齐块作为运动估计的模板，在I_t-2帧中进行整像素运动估计，将平均绝对值误差最小的块作为I_t-2帧的对齐块；按照这样的方式重复执行，最终，将I_t-(N-1)帧的初步对齐块作为运动估计的模板，在I_t-N帧中进行整像素运动估计，将平均绝对值误差最小的块作为I_t-N帧的对齐块；从而得到N个对齐块。

4.根据权利要求3所述的一种基于神经网络的对齐外插帧方法，其特征在于，得到N个对齐块后分别将每一对齐块周围的重建像素补在相应对齐块周围，作为最终的N个对齐块。

5.根据权利要求4所述的一种基于神经网络的对齐外插帧方法，其特征在于，所述多尺度及残差的网络中包含Q个尺度，分辨率大小依次记为s₁,s₂,…,s_Q；当前尺度k的分辨率大小为下一尺度k+1的一半，即

多尺度及残差的网络，从最低分辨率s₁开始进行一系列的预测，并以s_k大小的预测为出发点，进行s_k+1大小的预测，不断地进行上采样，并在下一个更精细的尺度上添加所学的残差，直到回到全分辨率图像，即与最终的对齐块的大小相同。