[发明专利]一种基于卷积神经网络的稠密光流估计方法

说明书

本发明属于计算机视觉领域，提供了一种基于卷积神经网络的稠密光流估计方法，以解决现有技术计算时间长，计算量大，计算效率不高的问题，包含如下步骤：(1)提取运动图像信息：构建全卷积网络架构，然后在输入层输入两幅通道数都为C的图像，从卷积层8输出光流_6；(2)生成光流：构建稠密光流生成模型。光流_6输入反卷积层1，反卷积层2输出光流_5，反卷积层3输出光流_4，反卷积层4输出光流_3，反卷积层5输出光流_2，反卷积层6输出光流_1；(3)模型训练：用最终损失函数进行训练；(4)光流估计：从全卷积网络架构的输入层输入图像对，输出最终预测的光流。本发明能够有效地利用先验知识，模型可以预先训练，大大减少了计算时间。

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于卷积神经网络的稠密光流估计方法。

背景技术

光流估计是计算机视觉领域内的一个重要基础模块，其研究目的是通过建模计算出视频连续两帧间的运动信息，具体就是第一帧中每个像素在第二帧中的对应匹配像素。经过三十多年的发展，光流估计问题已经有非常多的相关研究，但在真实世界视频里的鲁棒光流估计仍然是个富有挑战性的问题。

光流估计根据所采用的方法的不同，大体可以分为两种：一种是基于Horn和Schunck提出的变分能量优化模型，一种是基于匹配的插值优化模型。基于变分能量优化模型的算法虽然能够在小位移光流估计中取得非常精确的结果，但这种方法通常会在有大位移运动物体的场景下失败。基于匹配的插值优化模型主要利用了在大位移运动中，两帧之间视觉关键点的匹配信息对光流估计结果的重要性。以一种相对稠密的匹配结果作为光流估计的初始值，可以很好的解决传统变分能量优化模型存在的问题。然而，基于匹配的插值优化模型主要问题在于计算稠密匹配需要相当大的代价，并且其匹配结果的精度也直接影响到最终光流估计的效果。针对这种问题，本发明提出一种新的适用于大位移光流估计的稠密匹配算法，可以高效地得到精确的匹配信息光流估计是计算机视觉的重要研究方向之一，近年来，光流估计越来越受到国内外学者的关注，是计算机视觉领域中的研究热点。

申请公布号为CN105809712A的专利，公开了一种高效大位移光流估计方法：从视频里获取两张连续图像，将两帧图像按时间顺序分别标记为I1和I2；以I1和I2为最底层分别构造图像金字塔和在图像金字塔的每层上生成相同数目的种子点，并将最顶层上的种子点的匹配初始化为随机值；将获得的种子点在由图像金字塔依次从顶层到底层逐层进行匹配，每层种子点的匹配结果作为下一层相应种子点的初始值；将最底层种子点的匹配结果利用对边缘敏感的插值算法进行插值，将插值结果作为光流估计的初始值，然后利用变分能量优化模型进行优化，最终得到大位移光流估计结果。但该方法计算量大，效率不高。

从上面来看，传统的光流估计模型使用的是变分框架，在能量泛函中定义数据项平滑项等约束，通过极小化能量泛函的方式求取光流。该方法不能利用先验知识，并且此种方法在求解过程中往往需要较多的迭代次数，计算时间较长，无法达到较高的计算速度。所以传统方法很难达到实际场景的应用需求。

发明内容

本发明的目的在于提供计算时间少，计算速度快，能够有效地利用先验知识的一种基于卷积神经网络的稠密光流估计方法。

本发明的目的是这样实现的：

一种基于卷积神经网络的稠密光流估计方法，包含如下步骤：

(1)提取运动图像信息：