[发明专利]一种基于深度学习的非局部滤波器无监督光流估计方法

权利要求书

1.一种基于深度学习的非局部滤波器无监督光流估计方法，其特征在于，包括以下步骤：

步骤1：将监控视频解压成连续的图像序列帧，将其中相邻两帧图像作为输入；

步骤2：将相邻两帧图像输入到光流网络中提取光流，通过光流网络中金字塔模型对相邻两帧图像中第一帧图像进行采样，得到金字塔图像；

步骤3：在光流网络中金字塔模型l层，用相同的卷积模板分别获取l层相邻两帧图像的特征信息，通过金字塔模型l层相邻两帧图像的特征信息构建金字塔模型l层成本计算量，将金字塔模型l层成本计算量、金字塔模型l层相邻两帧图像中第一帧图像的特征信息输入到光流网络中，得到金字塔模型l层的光流图，将金字塔模型l层的光流图通过上采样得到上采样后金字塔模型l+1层的光流图；

步骤4：重复执行步骤3直至光流网络中金字塔模型的底层，以构建前向光流；

步骤5：交换相邻两张图像的输入顺序，重复执行步骤2-步骤3直至光流网络中金字塔模型的底层，以构建后向光流；

步骤6：根据传统非局部滤波器构建基于深度学习的非局部滤波器，分别将前向光流、后向光流通过基于深度学习的非局部滤波器进一步处理，获得精炼后的前向光流、精炼后的后向光流；

步骤7：结合前后一致性检测原理，利用精炼后的前向光流、精炼后的后向光流对遮挡区域进行估计，并获取前向遮挡区域、后向遮挡区域；

步骤8：结合精炼后的前向光流、精炼后的后向光流、前向遮挡区域和后向遮挡区域，构建前后一致性惩罚函数、遮挡感知损失函数，进一步构建光流网络损失函数作为训练函数；

步骤1所述连续的图像序列帧为：

V＝{I1,…,Ij,…IN},j∈[1,N]

其中，N为分解的图像帧数，I_j表示第j帧图像；

步骤2所述其中相邻两帧图像用I_j、I_j+1表示；

步骤2所述相邻两帧图像为I_j、I_j+1，I_j表示第j帧图像，j∈[1,N]，N为分解的图像帧数；

步骤2所述通过光流网络中金字塔模型对相邻两帧图像中第一帧图像进行采样为：

通过光流网络中金字塔模型对第j帧图像进行采样；

步骤2所述金字塔图像为：

其中，l∈[1,L],l用于表示光流网络中金字塔模型的第l层，L表示金字塔的总层数，I_j表示第j帧图像，j∈[1,N]，N为分解的图像帧数；

当l＝1时，表示金字塔图像的顶层即粗糙层；

当l＝L时，表示金字塔图像的底层即原始层；

步骤3中l用于表示光流网络中金字塔模型第l层，当l＝1时表示金字塔图像的顶层，当l＝L时表示金字塔图像的底层，l∈[1,L]

当l＝1时，

步骤3所述相邻两帧图像为：

表示金字塔模型l层第j帧图像，j∈[1,N]，N为分解的图像帧数；

步骤3所述相邻两帧图像的特征信息为：

为相邻两帧图像中第一帧图像的特征信息，为相邻两帧图像中第二帧图像的特征信息；

步骤3所述构建金字塔模型l层成本计算量为：

步骤3所述金字塔模型l层的光流图为：v^l；

步骤3所述上采样后金字塔模型l+1层的光流图为：

2.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:

步骤4所述前向光流为：

3.根据权利要求1所述的基于深度学习的非局部滤波器无监督光流估计方法，其特征在于:

步骤5所述交换相邻两张图像的输入顺序即(I_j,I_j+1)变为(I_j+1，I_j)；

步骤5所述后向光流为：