[发明专利]一种基于运动边界指导的深度学习光流估计方法

说明书

本发明公开一种基于运动边界指导的深度学习光流估计方法，属于图像处理领域。包括以下步骤：构建光流估计的深度学习数据集；构建基于运动边界指导的深度学习光流估计模型，该模型包括光流估计模块、运动边界估计模块、导向滤波权值生成模块和导向滤波模块；利用数据集对深度学习模型进行训练，得到训练完成的深度学习模型；直接将待估计光流的图像输入训练完成的深度学习模型，快速估计出光流。本发明的方法利用深度学习模型自动学习图像中运动边界图像和光流图像的图像特征，同时将运动边界估计和光流估计融合到一个整体框架中，利用运动边界估计结果指导对初始光流做导向滤波，可进一步提升光流估计的精度，并缩短光流估计所需的时间。

技术领域

本发明涉及图像处理技术，具体指一种基于运动边界指导的深度学习光流估计方法。

背景技术

光流估计是计算机视觉领域的基本问题之一，是目前运动图像分析的重要方法，光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息，在计算机视觉研究领域，光流在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。运动边界估计即确定光流结果中的不连续边界，是光流估计过程中的重要步骤。

现有光流估计方法的主要缺点在于，估计运动边界时多采用人工设计特征，鲁棒性差，运动边界估计精度低，从而影响光流估计精度，而且现有光流估计方法需要大量迭代运算，耗费大量计算资源和时间。因此，提出更加有效的光流估计方法，是图像处理领域急需解决的问题。

发明内容

本发明为克服上述情况不足，旨在提供一种基于运动边界指导的深度学习光流估计方法，利用深度网络从大量训练样本中自动学习提取运动边界，同时将运动边界估计和光流估计融合到一个整体框架中，利用运动边界估计结果，指导对初始光流做导向滤波，进一步提升光流估计的精度，以解决现有技术中需要人工提取运动边界图像特征，准确率低，鲁棒性差，耗时长的问题。

为解决上述技术问题，本发明提出的技术方案是：

一种基于运动边界指导的深度学习光流估计方法，其特征在于，包括以下步骤：

步骤一：构建光流估计的深度学习数据集；

所述步骤一中光流估计深度学习数据集中的样本数量不少于20000，其中每个样本包含运动视频中两帧相邻图像和这两帧图像所对应的运动边界图像与光流图像。

步骤二：构建基于运动边界指导的深度学习光流估计模型，该模型包括光流估计模块、运动边界估计模块、导向滤波权值生成模块和导向滤波模块；

所述步骤二中基于运动边界指导的深度学习光流估计模型中每个模块的具体结构为：

(1)光流估计模块：采用encoder-decoder网络结构，包括10个卷积层和5个反卷积层，对输入的相邻视频帧图像I0和I1做光流估计，得到初始光流结果F0，并对输入图像I0按初始光流F0做变换，得到变换误差Ew；

(2)运动边界估计模块：采用encoder-decoder网络结构，包括5个卷积层和5个反卷积层，以输入图像I0和I1、初始光流F0和变换误差Ew为输入，获得运动边界Bm；

(3)导向滤波权值生成模块：包括3个卷积层，以运动边界Bm为输入，获得导向滤波权值W；