[发明专利]一种对缺损光流图进行精细补全的方法及其应用

权利要求书

1.一种对缺损光流图进行精细补全的方法，其特征在于，其步骤如下：

(1)实时采集烟雾画面I，对烟雾画面I进行处理获得光流图像，检测并定位烟雾动态遮挡区域；

(2)在动态遮挡区域的最小外接正方形的中心中提取图像区域B，将图像区域B输入训练好的改进GAN网络，得到动态遮挡区域的替代图像；

所述改进GAN网络是改进上下文网络模块的损失函数的GAN网络，GAN网络的上下文网络模块的损失函数中的对抗损失被替换成改进GAN网络的上下文网络模块的损失函数中的WGAN损失；

所述改进GAN网络的训练过程即以历史数据组中一帧图像的图像区域A作为输入，以历史数据组中另一帧图像的对应动态遮挡区域的图片作为理论输出，不断调整改进GAN网络的参数的过程，训练的终止条件为实际输出与理论输出的相似度达98％以上；

(3)通过VGG-19网络对动态遮挡区域的替代图像进行处理，增添纹理信息；

(4)将步骤(3)得到的图像映射到步骤(1)获得的光流图像上即得到了完整的全局光流图。

2.根据权利要求1所述的一种对缺损光流图进行精细补全的方法，其特征在于，一组历史数据组包括包含烟雾的相邻多帧图像；所述图像区域A是处理历史数据组的图像定位烟雾动态遮挡区域，并在动态遮挡区域的最小外接正方形的中心中提取得到的。

3.根据权利要求2所述的一种对缺损光流图进行精细补全的方法，其特征在于，图像区域B与图像区域A的尺寸大小相同，为256×256像素。

4.根据权利要求1所述的一种对缺损光流图进行精细补全的方法，其特征在于，所述步骤(1)具体为：

(1.1)实时采集烟雾画面I后对其进行预处理，所述预处理是指构建带有标注信息的烟雾信息数据；

(1.2)以预处理后的烟雾画面I作为输入，输入训练好的LiteFlowNet得到所述烟雾画面I的光流图像；

所述LiteFlowNet的训练过程即以经预处理的烟雾画面II作为输入，以烟雾画面II产生的光流图像作为理论输出，不断调整LiteFlowNet的参数的过程，训练的终止条件为达到最大迭代次数P；

(1.3)利用LoG滤波器与步骤(1.2)得到的光流图像进行卷积，得到滤波后的光流图像；

(1.4)在步骤(1.3)获取的图像中寻找零交叉位置，进而确定该图像上不同物体之间光流边缘的位置即确定动态遮挡区域；

(1.5)引入图像语义信息判断步骤(1.4)所得的遮挡区域是否为烟雾；

(1.6)检测出动态遮挡产生的光流，并映射回步骤(1.2)得到的光流图像定位动态遮挡区域。

5.根据权利要求4所述的一种对缺损光流图进行精细补全的方法，其特征在于，烟雾画面II是通过摄像头采集而得的，其至少包括30个视频和1000个烟雾图像对；

所述LiteFlowNet具有NetC和NetE两个子网络；NetC对任何输入的图片对提取两个多尺度的高维金字塔特征，NetE用来估算烟雾的由粗到细的流场，NetC子网络被设计成双流网络，双流之间相互共享权重。

6.根据权利要求4所述的一种对缺损光流图进行精细补全的方法，其特征在于，LoG算子G(r)公式如下：

LoG滤波器是G(r)的二阶导数，其公式如下：

卷积公式如下：

其中，i和j分别代表图像中一像素的横坐标和纵坐标，I₀(i,j)和g(i,j)分别代表步骤(1.2)得到的光流图像和滤波后的光流图像，σ代表方差；

所述零交叉位置的寻找过程具体为：

i)取步骤(1.3)获取的图像的一部分，将其放大到像素级；

ii)在以像素点X为中心的3x3的区域中，确定了四对上下、左右和两个对角线的像素点正负关系；

iii)如这四对像素点的经过步骤(1.3)滤波后的灰度值的正负关系均相反且四对像素点的对应的灰度值差的绝对值小于阈值a，则像素点X为零交叉位置。