[发明专利]一种基于GAN网络深度学习模型的光流估计方法

说明书

本发明公开一种基于GAN网络深度学习模型的光流估计方法，属于图像处理领域。包括以下步骤：构建光流估计的深度学习数据集，构建GAN网络深度学习模型，该模型包括卷积模块，残差模块和反卷积模块，利用数据集对深度学习模型进行训练，得到训练完成的深度学习模型，直接将待估计光流的图像输入训练完成的深度学习模型，快速估计出光流图像。本发明的方法利用深度学习模型来自动学习光流图像的图像特征，进行端到端光流估计，无需估计运动边界进行辅助，而且所采用的GAN网络深度学习模型能够充分挖掘输入图像中的多维特征，可提升光流估计的效率和准确率。

技术领域

本发明涉及图像处理技术，具体指一种基于GAN网络深度学习模型的光流估计方法。

背景技术

光流估计是计算机视觉领域的基本问题之一，是目前运动图像分析的重要方法，光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息，在计算机视觉研究领域，光流在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。

现有光流估计方法的主要缺点在于，估计光流时一般需要首先估计运动边界进行辅助，而估计运动边界时多采用人工设计特征，鲁棒性差，运动边界估计精度低，从而影响光流估计精度，而且现有光流估计方法需要大量迭代运算，耗费大量计算资源和时间。因此，提出更加有效的光流估计方法，是图像处理领域急需解决的问题。

发明内容

本发明为克服上述情况不足，旨在提供一种基于GAN(Generative AdversarialNets)网络深度学习模型的端到端光流估计方法，利用深度网络从大量训练样本中自动学习提取光流图像，以解决现有技术中需要估计运动边界进行辅助，而且需要人工提取运动边界图像特征，准确率低，鲁棒性差，耗时长的问题。

为解决上述技术问题，本发明提出的技术方案是：

一种基于GAN网络深度学习模型的端到端光流估计方法，其特征在于，包括以下步骤：

步骤1：构建光流估计的深度学习数据集；

所述光流估计深度学习数据集中的样本数量不少于20000，其中每个样本包含运动视频中两帧相邻图像和这两帧图像所对应的光流图像。

步骤2：构建GAN网络深度学习模型，该模型包括卷积模块，残差模块和反卷积模块；

所述卷积模块包括4个卷积层，残差模块包括5个子网络，其中每个子网络包括1个卷积层，1个归一化层和1个ReLU激活层，反卷积模块包括4个反卷积层，反卷积模块中每个反卷积层在作反卷积时调用对应卷积层的图像特征，上一层的输出结果作为下一层的输入。

步骤3：利用数据集对深度学习模型进行训练，得到训练完成的深度学习模型；

所述步骤三中训练深度学习模型使用Caffe框架。

步骤4：直接将待估计光流的图像输入训练完成的深度学习模型，快速估计出光流图像。

本发明有益效果：与现有技术中的光流估计方法相比，本发明的方法利用深度学习模型来自动学习光流图像的图像特征，进行端到端光流估计，无需估计运动边界进行辅助，而且所采用的GAN网络深度学习模型能够充分挖掘输入图像中的多维特征，可提升光流估计的效率和准确率。

附图说明

图1是本发明方法的流程图；

图2是光流估计的深度学习数据集示意图；

其中，(a)表示运动视频中两帧相邻图像的均值融合图像，(b)表示光流图像。

图3是GAN网络深度学习模型示意图；

图4是GAN网络深度学习模型的残差模块中每个子网络结构示意图；