[发明专利]基于空间和通道联合注意力机制的无监督学习光流估计方法

说明书

本发明的目的在于提供基于空间和通道联合注意力机制的无监督学习光流估计方法，首先构建一种融合空洞卷积的新型特征金字塔网络，并利用其提取包含更多运动信息的多尺度特征。之后基于空间和通道联合注意力机制构建光流估计网络，使网络能够学习到更有针对性的运动信息。最后基于正反一致性校验和Census变换构造遮挡感知的无监督损失函数，并利用其对网络进行无监督训练，得到性能更优的无监督光流估计模型。

技术领域

本发明涉及的是一种光流估计方法。

背景技术

近年来，随着深度学习的发展，卷积神经网络已成功地应用于光流估计领域。卷积神经网络的训练过程较为耗时，但在推理阶段速度很快，可有效解决传统方法实时性差的问题，然而深度学习光流方法通过牺牲图像分辨率的方式增大卷积提取特征的感受野，导致网络损失大量空间细节信息。同时，基于深度学习的光流估计方法与传统光流估计方法相同，仍旧受到遮挡问题的影响。除此之外，由于真实场景下的稠密光流真值很难获取，用于光流估计的端到端卷积神经网络通常利用合成数据集进行有监督训练，因此在真实场景中测试时往往无法取得理想的结果。无监督训练方式可以有效解决真值获取困难的问题，然而现存的无监督光流估计方法大多基于亮度恒常假设来设计损失函数，光照变化将会影响无监督光流估计方法的准确性。

发明内容

本发明的目的在于提供可以针对无标签真实场景数据进行训练，以此规避网络对大量真值数据需求的基于空间和通道联合注意力机制的无监督学习光流估计方法。

本发明的目的是这样实现的：

本发明基于空间和通道联合注意力机制的无监督学习光流估计方法，其特征是：

(1)构建融合空洞卷积的特征金字塔网络：该特征金字塔网络包含2个网络架构完全相同的分支，在特征金字塔的第1层至第4层的底层部分，每个分支网络通过连续的卷积层逐步提取两帧图像的低级特征图，在特征金字塔的第5层至第6层的高层部分，通过连续的卷积层提取两帧图像的高级特征图，训练过程中两个分支互相共享网络权重，以确保两个分支对第1帧图像和第2帧图像做相同的处理，计算两帧图像在不同金字塔层上特征图之间的特征图匹配代价cost volume，将其作为光流估计网络的输入；

(2)构建空间和通道联合注意力机制的光流估计网络：光流估计网络利用每层金字塔获得的特征图匹配代价cost volume进行光流估计，得到对应尺度的光流结果；

(3)利用正反一致性校验计算非遮挡区域：将第1帧图像和第2帧图像输入到网络中，以得到正向光流，之后调换两帧图像的顺序再次输入网络，得到反向光流，之后对正向光流和反向光流进行正反一致性校验，以此推断出前向遮挡区域和反向遮挡区域；

(4)构造无监督学习损失函数：将Census变换结合到光流估计网络中，并构建无监督损失函数，在网络训练过程中对非遮挡区域的像素点计算无监督损失，之后将每层金字塔对应的损失项加权求和，作为无监督光流估计网络的总体损失，以此约束网络的训练过程；

(5)训练阶段：在网络输入端输入无标签数据，通过对损失权重求和得到总损失，之后利用反向传播算法训练网络，得到最后的无监督光流估计模型；

(6)利用训练好的模型进行测试，输入为图像对，输出为对应的光流图。

本发明还可以包括：

1、所述步骤(1)特征图匹配代价cost volume的获取方式如下：