[发明专利]一种基于深度学习的非局部滤波器无监督光流估计方法

说明书

本发明公开了一种基于深度学习的非局部滤波器无监督光流估计方法。为了解决现实中缺少真实光流标签以及构造有标签光流数据耗时费力的问题，本发明设计了一种无监督深度网络架构，减少了对标注数据的依赖。为了提高无监督光流模型的精度，针对光流计算面临的3大难点问题，即噪声、边界模糊、遮挡，首先开发了一种基于卷积神经网络的非局部滤波器，对光流场进行滤波精炼，有效的处理了噪声与边界模糊。该非局部滤波器能从视频数据中自主学习到滤波权重，泛化能力强。其次利用精炼后的光流对遮挡进行推理，根据光流和遮挡图设计全新的损失函数。本发明不需要任何标注数据，以端到端的训练模式获取高精度的运动信息，且能较好的获取目标运动细节。

技术领域

本发明属于视频分析技术领域，尤其涉及一种基于深度学习的非局部滤波器无监督光流估计方法。

背景技术

光流运动估计是计算机视觉技术中一个重要的研究与应用领域。光流运动信息作为最主要的视觉线索之一，被广泛地应用于视频分析领域的诸多视觉任务中。开发高精度的、可实时计算的光流方法成为视频分析的一个重要突破点。光流能够描述视频中相邻帧图像对应像素点的运动信息，从而使计算机从纷繁的视频图像序列中获取目标的运动信息，过滤掉不关心的信息。其实质是自动计算视频目标在时序上的运动变化所产生的运动信息，为高层次的视频分析与理解提供有效的运动线索。

目前主流的光流运动估计技术根据其实现的方式进行区分，可以概括为以下主要类型：

变分法光流估计方法。最早在1981年，人们将二维速度场与亮度变化进行结合构建数据项，同时又提出了基于整体平滑性约束的正则项，将数据项与正则项结合组建成能量函数，并采用变分法对能量函数进行求解来计算光流，进而建立了变分光流法的完整理论架构。由于变分法具有诸多优点，在2015年之前，即在基于深度学习的光流法出现之前，是光流计算最主要的技术。为了处理大位移和计算效率问题，人们引入了金字塔策略，并进一步与现代数值法结合提出了多重网格法。为处理遮挡，主要有两类方法：第一、同步交互处理遮挡与计算光流；第二、分步检测遮挡区域然后对标记的遮挡进行处理。为处理噪声，有两种主要策略被提出：第一、图像滤波预处理，如双边滤波法，导向滤波法等；第二、光流平滑后处理。

基于深度学习的有监督光流运动估计。随着深度学习的不断发展，人们开始使用卷积神经网络进行光流计算，提出了一系列的有监督的光流方法。目前有监督光流方法的速度能够满足实时计算的需要，并且精准度相比于传统的方法有了大幅度的提升。

基于深度学习的无监督光流运动估计。为了避免训练过程对真实标注数据的依赖，人们开始采用无监督的方式来对光流进行计算。由于无监督光流运动估计模型具有诸多优点，必将成为将来光流计算的主流方式。

光流运动估计技术是视频分析的基础。光流能够提供稠密的运动信息，它是处理很多视觉任务的关键，但目前的光流却无法在实际任务中被广泛应用。其原因在于，上述方法均存在不少缺陷：

传统变分光流计算需要解决大量优化问题，导致计算速度慢，不能够满足实时计算的要求。其次变分光流法的很多参数是人为设置的，导致变分光流方法往往只对某些特定场景的数据有效。

基于深度学习的有监督光流方法，在模型训练过程中需要大量标注好的光流信息，而这种标注信息不容易获取，标注成本较高，且标注的数据不具有随机性。

基于深度学习的无监督光流方法的精度不高，主要是因为无法有效的处理噪声、边界模糊、遮挡等难点问题。

发明内容