[发明专利]基于结合全局密度特征的MCNN人群计数方法

说明书

本发明涉及基于结合全局密度特征的MCNN人群计数方法，本发明可适应于不同密度场景，是一种能够生成含有更全面信息的人群密度图的人群计数方法，本发明通过对人群密度图积分得到估计人数，能够避免人群图像中的人群遮挡和人群不均匀分布对计数产生的影响；并且利用结合全局密度特征的卷积神经网络进行人群密度图的估计，能够适用于不均匀人群分布场景，生成含有更全面信息的密度图，人数估计结果具有较高的准确率和鲁棒性。

技术领域

本发明涉及人群图像处理领域，尤其涉及基于结合全局密度特征的MCNN人群计数方法。

背景技术

随着社会经济的发展，城市人口规模越来越大，聚集在车站、广场、公园等公共场所的人群数量也越来越多。大规模的人群聚集可能会导致践踏等安全事故发生，为了更好地保证人身安全，对人群计数算法的研究至关重要。

现有的人群计数方法可分为三类：基于目标检测的直接计数法、基于特征回归的间接计数法和基于深度学习的人群计数方法。其中，基于目标检测的直接计数法利用从图像中检测到的行人数量进行计数，这类方法适用于人群数量较少的场景，当人群拥挤时检测效果会受到影响。基于特征回归的间接计数法通过建立图像特征和人群数量之间的回归关系来进行计数，这类方法能够在大规模人群的场景下进行有效计数，但是由于回归对象是人群数量，忽略了行人在图像中的空间信息，导致计数准确率不高。基于深度学习的人群计数方法一般通过训练卷积神经网络，使其能够生成与输入图像对应的人群密度图，通过对人群密度图进行积分得到人群数量，这类方法能够有效反映行人的位置信息，得到较高的计数准确率。但是现有的基于深度学习的人群计数方法没有充分考虑到人群图像中全局密度变化，并且卷积神经网络中一般带有池化层，在池化层的下采样过程中会损失细节特征。

发明内容

本发明为克服上述的不足之处，目的在于提供基于结合全局密度特征的MCNN人群计数方法，本发明可适应于不同密度场景，是一种能够生成含有更全面信息的人群密度图的人群计数方法，本发明通过对人群密度图积分得到估计人数，能够避免人群图像中的人群遮挡和人群不均匀分布对计数产生的影响；并且利用结合全局密度特征的卷积神经网络进行人群密度图的估计，能够适用于不均匀人群分布场景，生成含有更全面信息的密度图，人数估计结果具有较高的准确率和鲁棒性。

本发明是通过以下技术方案达到上述目的：基于结合全局密度特征的MCNN人群计数方法，包括如下步骤：

(1)准备训练样本集：根据带有人头位置标注的图像数据集，利用二维高斯卷积核，生成数据集中每张图像对应的人群密度图标签和密度等级标签，组成得到训练样本集；

(2)输入图像，利用结合全局密度特征的MCNN网络中两个子任务分别提取输入图像的全局密度特征和人群计数特征，并通过特征拼接的方式融合两个子任务中提取得到的特征，得到结合全局密度特征的特征图；

(3)利用最大-均值池化和反卷积层，对结合全局密度特征的特征图进行处理，得到最终估计的特征图；

(4)将最终估计的特征图映射为密度图，通过对密度图进行积分，实现人群数量的估计。

作为优选，所述步骤(1)的具体步骤为：

(1.1)利用二维高斯卷积核将输入数据集中的人头位置标注转换为人群密度图标签，对于一张带有N个人头的图像，其人群密度图标签可用如下公式(1)表示：

其中，G_σ(x)是一个二维高斯卷积核，σ是它的宽度参数，δ(x-x_i)是delta函数，x_i表示一个人头标注点所在的位置；

(1.2)根据输入的数据集生成密度等级标签，由数据集中的最大人数N_max与最小人数N_min相减来确定人数变化范围，每张输入图像的密度等级可由下式(2)确定：