[发明专利]一种对缺损光流图进行精细补全的方法及其应用

说明书

本发明公开了对缺损光流图进行精细补全的方法及其应用，步骤为：实时采集烟雾画面I，处理烟雾画面I获得光流图像，定位烟雾动态遮挡区域；在动态遮挡区域的最小外接正方形的中心中提取图像区域，将图像区域输入训练好的改进GAN网络得到动态遮挡区域的替代图像，改进GAN网络是指将GAN网络的上下文网络模块的损失函数中的对抗损失被替换成改进GAN网络的上下文网络模块的损失函数中的WGAN损失；通过VGG‑19网络对动态遮挡区域的替代图像进行处理，增添纹理信息；将增添纹理信息得到的图像映射到光流图像上即得到了完整的全局光流图。本发明的方法，补全效果好且处理速度快；电子设备，结构简单，成本低廉应用前景好。

技术领域

本发明属于图像处理及深度学习技术领域，涉及一种对缺损光流图进行精细补全的方法及其应用。

背景技术

随着机器视觉与图象处理的不断发展，视觉检测的效果要越来越精确，图像处理的技术需一个一个的难点需要突破，遮挡在视觉中是常见的一种干扰。在通过光流法对视域中的运动物体进行检测时，有各种各样的东西可能会导致遮挡，包括其他物体。遮挡意味着物体的一部分被遮住了导致部分对象丢失。视觉系统显然不能检测到图像中不存在的东西，影响运动物体检测鲁棒性。以检测烟雾浓度为例，烟雾浓度的准确评价在很大程度上依赖于对整体烟雾流场的估计，而整体烟雾流场的精度取决于遮挡后烟雾光流场的预测。遗憾的是，由于光强匹配的不可靠性，光流在遮挡处是不确定的，为了解决这一问题必须准确地获得全局烟雾光流。

文献1(C.Yang,X.Lu,Z.Lin,Eli Shechtman,Oliver Wang and H.Li,High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis,in:Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR),arXiv:1611.09969,(2017).)介绍了一种采用L2损失和对抗损失相结合的方法训练GAN网络进而对缺损光流图进行补全的方法，其中GAN是生成对抗网络，是一种生成式模型，也是一种无监督学习模型，其最大的特点是为深度网络提供了一种对抗训练的方式，此方式有助于解决一些普通训练方式不容易解决的问题，然而原始GAN的损失函数存在缺陷：当D(判别器)训练得越好，G(生成器)的梯度消失越严重，限制了G的训练，即训练稳定性不佳，容易出现崩溃。

因此，开发一种补全效果好且处理速度快的对缺损光流图进行精细补全的方法极具现实意义。

发明内容

本发明的目的在于克服现有技术补全效果不佳、处理数据量大且处理速度慢的缺陷，提供一种补全效果好且处理速度快的对缺损光流图进行精细补全的方法，本发明解决了目前流动物体被遮挡引起的光流图缺损问题，从而极大地提高了光流图完整性，为后续的处理提供了可靠的基础，本发明适用于流动体的光流图精细补全。

为实现上述目的，本发明提供如下技术方案：

一种对缺损光流图进行精细补全的方法，其步骤如下：

(1)实时采集烟雾画面I，对烟雾画面I进行处理获得光流图像，检测并定位烟雾动态遮挡区域；

(2)在动态遮挡区域的最小外接正方形的中心中提取图像区域B，将图像区域B输入训练好的改进GAN网络，得到动态遮挡区域的替代图像；

所述改进GAN网络是改进上下文网络模块的损失函数的GAN网络，GAN网络的上下文网络模块的损失函数中的对抗损失被替换成改进GAN网络的上下文网络模块的损失函数中的WGAN损失；

所述改进GAN网络的训练过程以历史数据组中一帧图像的图像区域A作为输入，以历史数据组中另一帧图像的对应动态遮挡区域的图片作为理论输出，不断调整改进GAN网络的参数的过程，训练的终止条件为实际输出与理论输出的相似度达98％以上；