[发明专利]一种基于深度帧差卷积神经网络的运动目标检测方法

说明书

本发明公开了一种基于深度帧差卷积神经网络的运动目标检测方法，属于计算机视觉领域，一种基于深度帧差卷积神经网络的运动目标检测方法，本发明的DifferenceNet具有孪生Encoder‑Decoder结构，通过输入两帧图像与对应的监督标签，可以学习两帧图像之间的时序信息与差异特征；AppearanceNet具有Encoder‑Decoder结构，通过主干提取t帧图像的表观信息，然后通过时‑空信息融合，对t+1帧图像中的运动目标进行预测；AppearanceNet还通过多尺度特征图融合和逐步上采样来保留多尺度空间信息，并且本方法在定性和定量方面均显着优于最新算法，并适用于存在动态背景，光照变化和阴影的复杂场景。

技术领域

本发明涉及计算机视觉领域，更具体地说，涉及一种基于深度帧差卷积神经网络的运动目标检测方法。

背景技术

帧差法一般用于图像序列的运动检测，其又被称为帧间差分法或时间差分法，通过对时间连续的视频图像序列的多个帧之间采用灰度差分，并对差分的结果阈值化来获取图像中的运动目标区域一种运动目标检测方法。其基本思想是利用当前帧与相邻帧像素灰度值相近又不同的特点，对两帧图像进行差分运算，得到差分图像。

运动目标检测的目的是快速、准确地提取智能视频监控中的运动目标信息，在智能视频监控中是非常关键而基础的视觉任务。视频图像往往具有复杂、多变、动态的背景，如恶劣天气、植物摇摆、相机抖动、光照变化、阴影、目标遮挡、目标与背景高度相似、不规则运动等，这些因素都使得精确检测出运动目标的具有高度挑战性。运动目标检测是计算机视觉的重要而基础的问题，尽管其研究成果相对较多，但复杂场景下，受到动态背景、光照变化、阴影等因素的影响，高效、鲁棒的运动目标检测技术仍面临巨大挑战。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种基于深度帧差卷积神经网络的运动目标检测方法，DifferenceNet具有孪生Encoder-Decoder结构，通过输入两帧图像与对应的监督标签，可以学习两帧图像之间的时序信息与差异特征；AppearanceNet具有Encoder-Decoder结构，通过主干提取t帧图像的表观信息，然后通过时-空信息融合，对t+1帧图像中的运动目标进行预测；AppearanceNet还通过多尺度特征图融合和逐步上采样来保留多尺度空间信息，并且本方法在定性和定量方面均显着优于最新算法，并适用于存在动态背景，光照变化和阴影的复杂场景。

2.技术方案

为解决上述问题，本发明采用如下的技术方案。

一种基于深度帧差卷积神经网络的运动目标检测方法，所述深度帧差卷积神经网络包括DifferenceNet和AppearanceNet，所述深度帧差卷积神经网络的运动目标检测方法包括以下步骤：

S1、利用DifferenceNet提取帧间差异特征：训练DifferenceNet，并保存下DifferenceNet的预训练模型，然后对DifferenceNet的预训练模型进行正向传播，得到帧差特征图f(t，t+1)；

S2、利用AppearanceNet提取表观特征，并与帧间差异特征融合：训练AppearanceNet时，将帧差特征图f(t，t+1)融合到AppearanceNet中进行训练；

S3、使用PyTorch深度学习库来训练和测试网络。

进一步的，所述DifferenceNet输入为t和t+1帧图像，并使用t、t+1帧对应的Groundtruth作为监督标签，所述AppearanceNet输入为t帧图像，并使用t+1对应的Groundtruth作为监督标签，所述监督标签制作时的计算公式为：Label＝G_t+1-G_t∩(t+1)#(6)。