[发明专利]结合运动补偿和神经网络算法的递进式视频帧生成方法

说明书

本发明公开了一种结合运动补偿和神经网络算法的递进式视频帧生成方法，包括：通过运动补偿算法采用内插或外插的方式，来构建基于视频块级别运动信息的先验增强帧，增强帧具有连续运动信息并保留了一定的外观细节；将先验增强帧以递进式方式输入至神经网络，同时，还将生成先验增强帧时所输入的前后相邻帧或者前几帧输入至神经网络，使神经网络学习整体视频序列的运动轨迹和外观残差，最终生成的视频帧插入至输入的前后相邻帧之间，或者输入的前几帧的末尾。采用该方法能够极大的提升图像质量。

技术领域

本发明涉及视频信号处理技术领域，尤其涉及一种结合运动补偿和神经网络算法的递进式视频帧生成方法。

背景技术

视频帧生成是计算机视觉中最根本的问题之一，已经在不同的领域中发现了其许多应用，包括视频压缩，慢动作视频生成，甚至应用于无人驾驶汽车，使其做出决定或预测危险。给定一个视频序列，视频帧生成的目标是在连续视频帧之间进行内插操作或在视频帧之外进行外插操作。然而，一般用于合成视频帧的生成模型对于具有复杂外观并伴随剧烈运动视频达不到令人满意的效果。

传统的方法大多集中在从光流估计的角度出发来合成视频帧。当视频具有较为剧烈的运动时，光流估计往往不能令人满意，经常会产生重影从而降低视频帧质量。近期，基于深度学习的生成模型，试图直接生成视频帧的像素值，但通常由于视频中剧烈动作的存在，而导致模糊的生成结果；此外，随着非线性操作的不断累积，通常无法很好地保留视频中物体的外观细节信息，也将导致模糊的生成结果。

发明内容

本发明的目的是提供一种结合运动补偿和神经网络算法的递进式视频帧生成方法，能够极大的提升图像质量。

本发明的目的是通过以下技术方案实现的：

一种结合运动补偿和神经网络算法的递进式视频帧生成方法，包括：

通过运动补偿算法采用内插或外插的方式，来构建基于视频块级别运动信息的先验增强帧，增强帧具有连续运动信息并保留了一定的外观细节；

将先验增强帧以递进式方式输入至神经网络，同时，还将生成先验增强帧时所输入的前后相邻帧或者前几帧输入至神经网络，使神经网络学习整体视频序列的运动轨迹和外观残差，最终生成的视频帧插入至输入的前后相邻帧之间，或者输入的前几帧的末尾。

由上述本发明提供的技术方案可以看出，本发明能够对存在剧烈运动的视频进行较好的内插和外插预测生成，并且能保证较好的清晰度；同时，结合了传统算法和目前最先进的深度学习算法，做到优势互补；实验数据表明，本发明在标准公开数据库上的实验表现超过传统方案，生成的图像质量也有较大提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种结合运动补偿和神经网络算法的递进式视频帧生成方法的流程图；

图2为本发明实施例提供的递进式视频帧合成的神经网络结构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种结合运动补偿和神经网络算法的递进式视频帧生成方法，包括：

步骤1、通过运动补偿算法采用内插或外插的方式，来构建基于视频块级别运动信息的先验增强帧，增强帧具有连续运动信息并保留了一定的外观细节。