[发明专利]基于空间和通道联合注意力机制的无监督学习光流估计方法

权利要求书

1.基于空间和通道联合注意力机制的无监督学习光流估计方法，其特征是：

(1)构建融合空洞卷积的特征金字塔网络：该特征金字塔网络包含2个网络架构完全相同的分支，在特征金字塔的第1层至第4层的底层部分，每个分支网络通过连续的卷积层逐步提取两帧图像的低级特征图，在特征金字塔的第5层至第6层的高层部分，通过连续的卷积层提取两帧图像的高级特征图，训练过程中两个分支互相共享网络权重，以确保两个分支对第1帧图像和第2帧图像做相同的处理，计算两帧图像在不同金字塔层上特征图之间的特征图匹配代价cost volume，将其作为光流估计网络的输入；

(2)构建空间和通道联合注意力机制的光流估计网络：光流估计网络利用每层金字塔获得的特征图匹配代价cost volume进行光流估计，得到对应尺度的光流结果；

(3)利用正反一致性校验计算非遮挡区域：将第1帧图像和第2帧图像输入到网络中，以得到正向光流，之后调换两帧图像的顺序再次输入网络，得到反向光流，之后对正向光流和反向光流进行正反一致性校验，以此推断出前向遮挡区域和反向遮挡区域；

(4)构造无监督学习损失函数：将Census变换结合到光流估计网络中，并构建无监督损失函数，在网络训练过程中对非遮挡区域的像素点计算无监督损失，之后将每层金字塔对应的损失项加权求和，作为无监督光流估计网络的总体损失，以此约束网络的训练过程；

(5)训练阶段：在网络输入端输入无标签数据，通过对损失权重求和得到总损失，之后利用反向传播算法训练网络，得到最后的无监督光流估计模型；

(6)利用训练好的模型进行测试，输入为图像对，输出为对应的光流图；

步骤(1)特征图匹配代价cost volume的获取方式如下：

其中F₁ⁱ(x₁),F₂ⁱ(x₂)分别表示金字塔第i层上第1帧和第2帧的特征图，M表示特征图F₁ⁱ(x₁)和F₂ⁱ(x₂)的长度，T表示向量的转置操作，Fcⁱ(x₁,x₂)表示金字塔第i层上的特征匹配特征图匹配代价cost volume结果；

变形特征图由光流估计网络计算出的光流对第2帧图像的特征图进行变形得到，特征变性操作的定义如下：

F_i^2′(p)＝F_i²(p+φ(O_i-1(p)))

其中p表示图像中的像素点，O_i-1(p)表示金字塔第i-1层光流估计网络计算得到的光流结果，φ(x)表示上采样操作，F_i²(p)为金字塔第i-1层第2帧图像的特征图，F_i^2′(p)表示变形后的特征图；

步骤(2)中，光流估计网络从金字塔第6层开始计算光流，计算得到的光流对第2帧图像的特征图进行变形，用于计算下一层的特征图匹配代价cost volume；第4层到第1层需要对本层的光流结果进行上采样，针对金字塔的第i层，首先计算金字塔第i-1层上的光流结果O_i-1，利用上采样操作使O_i-1与下一层金字塔尺度匹配，之后利用上采样光流对第i层的第2帧图像的特征图F_i²做变形操作，使变形后的特征图F_i^2′更趋向于第1帧图像的特征图F_i¹，其中第6层到第5层跳过上采样操作，最后利用变形后的特征图F_i^2′(p)和第1帧图像的特征图F_i¹(p)来计算特征图匹配代价cost volume，并将计算得到的特征图匹配代价cost volume输入到金字塔第i层对应的光流估计网络中，得到这一层对应的光流结果；

步骤(3)中，使用正反性一致性校验算法对遮挡部位的像素点进行识别，以剔除光流误差区域：当正向光流和反向光流之间的匹配值超过阈值，即该像素点为遮挡像素点，对图像上所有像素点进行检验，将超过阈值的像素点用前向遮挡参数f和后向遮挡参数b标记，以此求出所有像素点的遮挡掩码；

步骤(4)中，将Census变换应用到数据项约束中，具体实现公式如下，

其中，W(p)表示以p为中心像素点的矩形变换窗口，q为矩形窗内其他点，I(p)、I(q)分别为p、q像素点处的灰度值，为字符串连接符，σ为判别式的阈值；

将Census变换嵌入数据项中，得到下式，

其中，p表示图像中的像素点，O(p)表示光流估计网络计算得到的光流结果，表示鲁棒惩罚函数，f表示前向遮挡参数，b表示后向遮挡参数，表示第2帧图像的Census变换，表示第1帧图像的Census变换；

总损失函数由金字塔第2至第6层的损失函数加权求和得到，公式如下，

其中，λ_c分别表示不同金字塔尺度下Census损失函数所占的权重。