[发明专利]一种基于密集连接网络的视频帧序列生成方法

说明书

本发明涉及一种基于密集连接网络的视频帧序列生成方法，属于计算机视觉领域以及视频信号处理技术领域。以生成对抗网络为本发明方法的结构的基线，使用密集连接网络构建本发明的生成器模型，对输入视频帧序列的后续视频帧序列进行生成。本发明充分考虑输入视频帧序列内容的分布差异性，对具有特殊运动特点的部分增加权重。根据这种方式设计的损失函数能够为本发明中的生成器模型提供注意力机制，使得生成器模型能够对后续视频帧序列的不同部分有针对性地生成，实现对同一后续视频帧不同部分的差异性处理，在保证生成的后续视频帧序列与输入视频帧序列具有连续运动信息的同时，能够有效提升生成的后续视频帧序列的图像质量。

技术领域

本发明涉及计算机视觉领域以及视频信号处理技术领域，尤其涉及一种基于密集连接网络的视频帧序列生成方法。

背景技术

近年来，人工智能技术逐步普及，成为应用系统的重要组成部分，应用场景十分广泛。在公共交通领域，监控系统使用摄像头捕获视频序列，再通过系统的深度学习图像处理模块对捕获到的视频帧进行分析处理，可以实现对特定目标的识别追踪。对自动驾驶汽车而言，其系统搭建完全基于人工智能技术，其中的视觉系统作为自动驾驶汽车的“眼睛”，是整个系统中最重要的组成部分之一。在体育竞技中，智能电子裁判通过对目标运动员姿态进行跟踪，能够对运动员冲线时间或犯规等关键点进行监控，这使得体育裁决更加公正公开。在这些应用中，视频帧序列作为整个智能系统的输入，它的质量将直接影响整个智能系统的后续决策。

在一些特定场景下，视频采集系统有可能会在某个时刻失效。以自动驾驶为例，日间行车进入隧道时会发生骤暗的情况，夜间行车被灯光照射时会发生骤明的情况，这些光线变换都会导致视频采集系统无法采集到有效的图像。再者，当汽车行驶在较为颠簸的路面上时，视频采集系统此时虽然能够正常运转，但是由于拍摄到的视频图像模糊程度较高，对视频处理系统而言这些图像只能被当作无效帧处理。对于自动驾驶等对实时性要求较高的系统，这种采集信息的缺失无疑将对整个系统造成较大影响。一旦作为输入的视频帧序列失效，会导致整个系统的后续部分都无法正常工作，陷入瘫痪状态。因此，如何保证系统在输入视频中存在失效帧的情况下仍能够正常工作已经成为一个紧迫的问题。

一种方法是依赖现有的有效输入视频帧序列，对失效帧位置的图像做生成处理。目前已经有一些基于深度学习的算法用于解决视频帧序列生成问题。使用基于卷积网络的模型能够学习视频帧序列的运动信息，卷积网络中的池化层能够抽取到视频帧序列中更为完整的特征，但同时也会丢失掉大量的纹理信息，这将导致生成的后续视频帧序列的关键细节部分丢失较为严重。另一种方法是对输入视频帧序列以及对应光流图像进行卷积操作从而生成后续视频帧序列，这种方法虽然能够更加精准的捕获运动信息，生成质量较高的后续视频帧序列，但由于光流图像需要依赖输入视频帧序列计算获得，因此所需的计算时间更长，耗费的算力资源更多，并且不同的光流计算方法的选择也会导致最终生成后续视频帧序列的质量不同。

现有的后续视频帧序列生成方法没有考虑到视频采集对象所具备的特点。视频采集的对象不同，获得的视频帧的内容分布特点也不同。如果采集对象为参加田径比赛的运动员，对视频内容而言，图像中存在运动员的部分为视频帧内容的主体，在采集图像的过程中，通常会将视频帧内容的主体部分放在视频中较为靠近中心的位置。在后续视频帧序列生成的过程中，模型需要为生成后续视频帧序列的中心位置分配更多注意力。如果采集对象是驾驶场景，此时视频帧的主体部分并不明显，但对行驶中的车辆而言，越靠近视野中心位置的部分，在获得的视频帧序列中变化频率越慢，越靠近视野边缘位置的部分，在获得的视频帧序列中变化频率越快，因此在模型生成后续视频帧序列的过程中，需要对靠近视野周边的部分给予更多的注意力。而现有的用于后续视频帧序列生成的方法并没有有效使用输入视频帧序列的内容分布特点，没有对输入视频帧序列的不同部分给出不同的权重，因此导致生成的后续视频帧序列质量不高的问题。