[发明专利]基于注意力机制和可变形卷积神经网络的人群分析方法

说明书

本发明提供了一种基于注意力机制和可变形卷积神经网络的人群分析方法，包括：训练阶段，首先通过人群图像和背景图像训练注意力图生成器(AMG)，并将训练好的注意力图生成器模型作为辅助密度图生成器(DME)训练的部件；测试阶段，仅使用训练好的密度图生成器对输入的人群图像生成对应的密度图。本发明通过结合注意力机制，生成注意力图检测人群的区域并在一定程度上反映人群区域的拥挤程度。注意力图作为人群的先验知识训练可变形卷积神经网络，使得网络能够克服人群场景中人群分布不均，环境噪声等问题，生成准确的人群密度图。

技术领域

本发明涉及一种基于注意力机制和可变形卷积神经网络的人群分析方法。

背景技术

随着监控摄像头的普遍使用和人们对于公共安全日益关心，人群分析近年来吸引了很多研究工作者的关注。为了适应实际应用的需求，人群分析也从最初简单的人群计数发展为通过密度图展示人群分布特征。人群密度图比简单的人群数量包含更多的人群空间分布信息，这些信息能够帮助我们在人群拥挤的高风险环境中作出正确的决策，防止发生暴动和踩踏等事故。

当前，应用于人群分人群场景析的方法主要分为三大类：检测计数，回归计数和密度图分析。检测计数通过检测人群场景中人的个数实现人群计数。然而这种方法处存在两个问题：第一，这种方法需要通过移动窗口扫描整张图像计算人的个数，十分耗时；第二，检测方法在人群拥挤的环境中受遮挡，环境噪声等影响，计数结果不准确。回归计数方法旨在领用回归模型学习视觉特征和人群人数之间的映射关系。这些特征可以是手工提取的诸如形状、纹理和边缘等特征，也可以是通过神经网络学习的特征。虽然回归计数的方法在一定程度上克服环境噪声的干扰，但是在人群极其密集的场景中，该方法也不能准确地预测人群人数。此外，回归计数方法忽略了人群空间分布信息，无法提供对人群分析极为重要的人群分布特征。

基于密度图的分析方法，以密度图为输出，根据密度图得到人群的密度分布信息和预测人群总人数。近期很多的研究工作都关注利用卷积神经网络(convolution neuralnetwork，CNN)来生成密度图。当前基于CNN生成密度图的方法能够很好的解决人群遮挡和尺度不一等问题。然而，这些方法在面对人群场景中人群分布不均，环境噪声等问题时，仍然会出现准确性下降的情况。基于上述问题，本发明提出一种基于注意力机制和可变形卷积神经网络(A2CrowNet)的人群分析方法。

发明内容

针对以上问题，本发明提供了一种基于注意力机制和可变形卷积神经网络的人群分析方法。

为实现上述目的本发明采用的技术方案如下：

一种基于注意力机制和可变形卷积神经网络的人群分析方法，包括：

训练阶段，首先通过人群图像和背景图像训练注意力图生成器(AMG)，并将训练好的注意力图生成器模型作为辅助密度图生成器(DME)训练的部件；

测试阶段，仅使用训练好的密度图生成器对输入的人群图像生成对应的密度图。

本发明提供的基于注意力机制和可变形卷积神经网络的人群分析方法通过结合注意力机制，生成注意力图检测人群的区域并在一定程度上反映人群区域的拥挤程度。注意力图作为人群的先验知识训练可变形卷积神经网络，使得网络能够克服人群场景中人群分布不均，环境噪声等问题，生成准确的人群密度图。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明基于注意力机制和可变形卷积神经网络的人群分析方法整体流程图；

图2是注意力图的产生方式；

图3是注意力图生成器的网络结构图；

图4为不同人群密度下的注意力图，最左列为人群图像，中间列为对应的注意力图，最右列为人群图像和注意力图的混合图；