[发明专利]一种基于深度帧差卷积神经网络的运动目标检测方法

权利要求书

1.一种基于深度帧差卷积神经网络的运动目标检测方法，所述深度帧差卷积神经网络包括DifferenceNet和AppearanceNet，其特征在于：所述深度帧差卷积神经网络的运动目标检测方法包括以下步骤：

S1、利用DifferenceNet提取帧间差异特征：训练DifferenceNet，并保存下DifferenceNet的预训练模型，然后对DifferenceNet的预训练模型进行正向传播，得到帧差特征图f(t，t+1)；

S2、利用AppearanceNet提取表观特征，并与帧间差异特征融合：训练AppearanceNet时，将帧差特征图f(t，t+1)融合到AppearanceNet中进行训练；

S3、使用PyTorch深度学习库来训练和测试网络；

所述DifferenceNet采用Encoder-Decoder结构，并采用ResNet作为Backbone提取特征；

所述Encoder包括两个Backbone，两个Backbone分别为Backbone 1和Backbone 2，两个所述Backbone结构相同均包括四个Resdual模块，且两个Backbone之间权重和参数共享；

所述帧差特征图的提取步骤为：将t和t+1帧分别输入到Backbone 1和Backbone 2中，将得到相应的输出的特征图f(t)和f(t+1)，然后通过f(t+1)-f(t)得到帧差特征图f(t，t+1)；

所述AppearanceNet同样具有Encoder-Decoder结构，且AppearanceNet的Backbone同样由4个Resdual模块组成；

设t为所述AppearanceNet的输入，通过Encoder提取特征得到App_conv5(t)，所述App_conv5(t)包含空间信息，f(t，t+1)包含时间信息，它们共同用于时、空间信息的融合，这一过程可以表示为：

所述AppearanceNet的多尺度特征图融合公式为：

2.根据权利要求1所述的一种基于深度帧差卷积神经网络的运动目标检测方法，其特征在于：所述DifferenceNet输入为t和t+1帧图像，并使用t、t+1帧对应的Groundtruth作为监督标签，所述AppearanceNet输入为t帧图像，并使用t+1对应的Groundtruth作为监督标签，所述监督标签制作时的计算公式为：Label＝G_t+1-G_t∩(t+1)#(6)。

3.根据权利要求1所述的一种基于深度帧差卷积神经网络的运动目标检测方法，其特征在于：所述帧差特征图的具体运算过程为：

Backbone通过以下过程提取特征：

其中，x和y分别表示输入和输出的特征图，θ表示卷积核的权重，b表示不同通道的偏置，h和w表示输出的坐标索引，m和n代表卷积核的坐标索引，o和i分别代表输出和输入中的不同通道，p是输入的padding，s是卷积操作的stride；

在ResNet的Resdual模块中，卷积核大小为3×3，padding为0，stride为2，并且最后一层卷积层的通道数为512；Diff_conv4层的通道数为512，则Diff_conv4可以表示为：

由于运动目标检测是一个二分类任务，因此对应f(t)的通道数应当为2；并且，的通道可以通过1×1卷积进行降维；对于输入t，则输出f(t)可以示为：

同理，由于Backbone 1和Backbone 2共享权值，对于输入t+1，相应的输出f(t+1)可以表示为：

结合帧差法，用f(t+1)减去f(t)来反映它们之间的变化；因此，帧差特征图f(t，t+1)可以表示为：