[发明专利]一种基于卷积神经网络的稠密光流估计方法

权利要求书

1.一种基于卷积神经网络的稠密光流估计方法，其特征在于：包含如下步骤：

(1)提取运动图像信息：

构建全卷积网络架构：包括输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9；输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9顺次连接；卷积层1的卷积核长宽以及卷积核个数分别为7,7,64；卷积层2的卷积核长宽以及卷积核个数分别为3,3,128；卷积层3的卷积核长宽以及卷积核个数分别为3,3,256；卷积层4的卷积核长宽以及卷积核个数分别为3,3,256；卷积层5的卷积核长宽以及卷积核个数分别为3,3,512；卷积层6的卷积核长宽以及卷积核个数分别为3,3,512；卷积层7的卷积核长宽以及卷积核个数分别为3,3,512；卷积层8的卷积核长宽以及卷积核个数分别为3,3,512；卷积层9的卷积核长宽以及卷积核个数分别为3,3,1024；卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9的步长分别设置为2，2，2，1，1，2，1，1，2；卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9的激活函数都是RELU函数；然后在输入层输入两幅通道数都为C的图像，从卷积层8输出光流_6，光流_6为预测光流；

(2)生成光流：

构建稠密光流生成模型：定义密集体1，密集体2，密集体3，密集体4，密集体5，每个密集体包含L个团块，每个团块包括batch normalization,卷积核大小为3*3的卷积层，dropout层3个部分；batch normalization的激活函数为RELU函数；团块内部的连接方式：batchnormalization，卷积核大小为3*3的卷积层，dropout层顺次连接；在密集体内部，团块L-1，团块L-2，团块L-3，到团块1共L-1个团块的输出与团块L相连接；定义反卷积层1，反卷积层2，反卷积层3，反卷积层4，反卷积层5，反卷积层6；反卷积层1的卷积核长宽以及卷积核个数分别为3,3,512；反卷积层2的卷积核长宽以及卷积核个数分别为3,3,256；反卷积层3的卷积核长宽以及卷积核个数分别为3,3,128；反卷积层4的卷积核长宽以及卷积核个数分别为3,3,64；反卷积层5的卷积核长宽以及卷积核个数分别为3,3,32；反卷积层6的卷积核长宽以及卷积核个数分别为3,3,16；卷积层9，反卷积层1，密集体1，反卷积层2，密集体2，反卷积层3，密集体3，反卷积层4，密集体4，反卷积层5，密集体5，反卷积层6顺次连接；

光流_6输入反卷积层1，卷积层9将处理后的信息输入反卷积层1，反卷积层2输出光流_5，反卷积层3输出光流_4，反卷积层4输出光流_3，反卷积层5输出光流_2，反卷积层6输出光流_1；光流_2,光流_3,光流_4,光流_5,光流_6为不同分辨率下的预测光流值；光流_1为最终预测的光流值，与两幅通道数都为C的图像同分辨率；

(3)模型训练：

分别用最终损失函数作用于反卷积层1，反卷积层2，反卷积层3，反卷积层4，反卷积层5，反卷积层6进行训练；

(4)光流估计：

从全卷积网络架构的输入层输入图像对，输出最终预测的光流。

2.根据权利要求1所述的一种基于卷积神经网络的稠密光流估计方法，其特征在于：所述的最终损失函数：

L_final＝λ₁L_epe+λ₂L_brightness+λ₃L_smoothness；

上式中，λ₁，λ₂和λ₃为3种约束的平衡因子；L_epe为端点误差损失函数，L_brightness为亮度恒常损失函数，L_smoothness为运动平滑损失函数。