[发明专利]基于数据分布差异与多尺度特征融合的运动目标检测方法

权利要求书

1.基于数据分布差异与多尺度特征融合的运动目标检测方法，其特征在于：将快速背景减除算法与图像分割算法相结合进行运动目标检测，先使用帧差法和背景差法进行运动目标检测，再使用多尺度前景提取网络得进行前景提取，最后将二者结果进行IOU计算，得到运动目标的二值掩膜，将对多尺度前景提取网络进行改进，在其解码器中加入通道注意力机制，令其赋予特征图不同通道以不同权重，去除融入特征和噪声，以得到更干净的前景，

具体步骤如下：

第一步，基于稀疏表示和离群点迭代去除的高效背景建模：

在基于机器学习的快速背景提取部分，本发明采用的是基于稀疏表示和离群点迭代去除的高效背景建模算法，该算法不使用所有的帧来模拟背景，而是简单地使用鉴别帧，利用稀疏表示来减少视频的大小，探索其鉴别帧，这样可以有效地提高背景建模的速度，再使用基于PCP模型的循环迭代算法从鉴别帧中提取背景，循环迭代过程由张量模型和像素处理组成，其中，张量模型考虑整体信息，像素处理关注特定信息，经过循环迭代过程后，即可快速得到精准的背景图；

第二步，将背景减法与帧差法结合进行初步的运动目标检测：

通过第一步得到背景图像之后，即图像中没有人或其他感兴趣对象，将其输入到网络中，用当前帧和背景图像做背景减法，初步估计运动目标，背景减法是将当前图像和已知的背景模型进行差分，计算当前图像与背景模型的匹配程度，设A_k为第k帧图像，B为背景图像，(x,y)为坐标点位置，T是阈值，背景减法后得到的二值化图像即为运动目标检测结果，公式如(1)所示：

选用帧差法，也就是将当前帧和前一帧做差分，得到运动目标的外围轮廓，帧差法是先将彩色图像转换为灰度图像，再对灰度图像进行差分运算，视频图像序列中连续图像间的差分法是比较相邻图像的对应像素位置的像素大小差别，从而检测出运动目标，运动目标所在位置的像素大小会发生相应变化，非目标的背景区域则保持不变或者变化较小，最后，本发明将背景减法和帧差法两种方法得到的结果进行结合，从而得到一个尽可能完整的运动目标；

第三步，使用编码器网络提取低层次特征：

本发明包含一个三联组CNN，在三个不同的尺度上进行特征编码，编码器网络的前四块是预先训练的VGG-16网络的修改副本，即在VGG-16网络的基础上去掉了第3和第4个最大池化层，并在第4个卷积块的每一层之间插入dropout来防止过拟合，本发明编码器的输入是将一张图片变换为三个不同尺度的图片，这三张图片同时被传送给三联组CNN，三联组CNN的架构是完全相同且共享权重的，经过三联组CNN的特征提取得到三个不同尺度的特征图F1、F2、F3，将F2和F3进行缩放，以匹配F1的比例，然后沿着深度轴连接，形成组合的特征图像，即特征图F；

第四步，采用融合注意力机制的多尺度特征提取的方法，对当前帧进行前景提取：

本发明采用融合注意力机制的多尺度特征提取的方法，对当前帧进行前景提取，经过第三步的多尺度编码器网络提取低层次特征之后，得到特征图F，将特征图F输入到注意力转置卷积神经网络中，学习权重进行解码，最终输出是一个与原始输入图像大小相同的分割掩膜；

第五步：将利用机器学习的方法得到的运动目标和利用深度卷积神经网络得到的所有前景目标进行IOU计算，包括运动目标和静止目标。

2.根据权利要求1所述的基于数据分布差异与多尺度特征融合的运动目标检测方法，其特征在于：使用稀疏表示和离群迭代点的方法进行背景提取，对帧序列进行细化，得到一个新的信息集，它由所选的有区别的帧组成，通过求解视频帧的最大线性独立组，使用稀疏表示来探索判别帧，基于视频内容的稀疏表示过程对噪声具有较强的鲁棒性，一旦一个帧被其他帧表示，它的内容就不再有区别了，因此，使用一些帧来代表所有帧：

其中，‖·‖_F是弗罗贝尼乌斯范数，它等于张量项平方和的平方根，是一个系数矩阵，λ用于平衡这两部分，此外，‖·‖_1,2是l_1,2范数，是C中所有行的和，C的第j行记录第j帧代表其他帧的系数，C的第j列记录其他帧代表第j帧的系数，然后，我们可以通过观察C中相应的行来推断每一帧的作用，系数为零的帧被认为是冗余的，C中的非零行对应于判别帧，形成一个新的集合来包含所有的判别框架，在对视频进行稀疏表示后，对原始视频D进行细化，形成一个新的选定的判别帧集

3.根据权利要求1所述的基于数据分布差异与多尺度特征融合的运动目标检测方法，其特征在于：使用IOU计算将初步的运动目标检测结果和前景分割结果进行结合和筛选，得到运动目标的二值掩膜，IOU的计算公式如下所示：

其中M为运动检测得到的目标，S为前景检测部分的分割掩膜，当IOU值大于阈值时，输出该前景目标的分割掩膜。