[发明专利]基于全局运动补偿和帧间时域关联性的实时视频去雨方法

说明书

本发明提出一种基于全局运动补偿和帧间时域关联性的实时视频去雨方法，进行基于全局运动补偿的视频帧间运动信息对齐，包括采用基于全局上下文模块GCM进行改进来完成运动估计和运动补偿，基于空洞卷积和下采样法的混合多尺度特征提取，然后基于混合多尺度时域互补优化，基于卷积神经网络的多帧特征融合及目标帧重建，通过最小化输出图片和对应的背景图片的像素差的平方和损失函数来优化神经网络，并利用优化后网络输出无雨图片。其中，全局运动补偿通过空间金字塔池化来减少全局运动补偿的计算点，从而减少计算量。基于混合多尺度时域相关性针对混合尺度的特征信息的时域互补性，以此来提高各个尺度特征信息，并最终提高视频去雨的效果。

技术领域

本发明涉及户外实时视频去雨处理技术领域，具体涉及一种基于全局运动补偿和混合多尺度时域关联性的实时视频去雨方法。

背景技术

在指恶劣天气情况下，视频质量会受到雨条纹的影响，无法利用室外视频来做相应的视频，比方说目标检索，目标跟踪，人物识别等等。基于此，去除视频信息中的雨条纹信息十分必要。最近几年视频去雨技术成为计算机视觉领域一项新兴技术。如何保留视频图像细节信息，最大限度提高受影响的视频图像的清晰度是视频去雨技术需要面对的问题。

针对视频中的雨信息，早期方法分析了自然雨条纹的特征。随后产生了各种基于雨特性的视频去雨方法，以下详述。

Garg和Nayar等[文献1]分析了自然雨条纹的特征，综合分析了雨条纹的视觉效果。在[文献2]中，Garg和Nayar等进一步提出在图像的拍摄过程中，由于曝光时间的影响，雨滴在图像上会形成雨痕的视觉效果。在这种情况下，受雨水影响的像素主要取决于像素点本身的像素值、雨滴的大小和速度以及曝光时间。该论文提出通过设置相机的参数，如景深、曝光时间等来减少雨条纹对图片的影响。

针对雨的特性，新加坡国立大学Xiaopeng Zhang等[文献3]提出了一种新的去雨方法，该方法在视频中结合了雨的时间和色度属性。时间属性指出，在整个视频中，图像像素并不总是被雨覆盖。色度特性表明受雨影响的像素的R，G和B值的变化大致相同。通过结合这两个属性，方法可以检测并消除固定摄像机拍摄的静态和动态场景中的雨痕。

针对传统方法中没有考虑到视频图像中的运动物体这一问题，2015年Kim等在[文献4]提出了一种使用时间相关和低秩矩阵完成的新颖的视频排序方法。该方法根据当前帧与相邻帧之间的差异生成初始雨图。使用稀疏基向量表示初始雨图，采用支持向量机(SVM)将其分为雨连线和异常点。通过去除异常值，改进雨图并检测雨条纹。该方法采用EM算法迭代计算。实验结果表明，该方法能够有效去除雨痕，有利于重建场景内容。

针对传统视频去雨的方法通常是将雨条纹信息作为一种确定性的信息，2017年，西安交通大学的Weiwei[文献5]提出将视频信息分为三个成分：背景信息，运动的物体，雨信息，并采用混合高斯模型来表示雨条纹信息。该论文将雨条信息作为一种基于块的高斯混合模型的随机信息，这种改变可以让该方法可以适应更广泛的雨条情况。