[发明专利]基于CNN低层语义特征密度图的人群密度估计方法

说明书

本发明属于人群分析技术领域，为基于CNN低层语义特征密度图的人群密度估计方法，包括步骤：数据的预处理，根据原图像的行人位置生成密度图；对原图像和密度图进行切片；对原图像进行MCNN多分支特征提取，对各分支特征进行卷积、池化操作后，通过MCNN特征图融合器对各分支特征进行连接得到MCNN连接特征图，并对其进行卷积操作得到初始的MCNN密度图；对原图像进行卷积得到具有低层语义特征图；将低层语义特征图与MCNN多分支特征提取后各分支生成的特征图在通道数这一维度进行连接，得到连接特征图；用若干层卷积层对连接特征图进行解码，生成最终的密度图；对最终密度图的每个像素相加求和，得到图片中的人数。MAE、MSE较低，准确率和稳定性都较高。

技术领域

本发明属于人群分析技术领域，涉及一种基于CNN低层语义特征密度图的人群密度估计方法。

背景技术

公共场所的人群比较密集，因此对特定场合的人群的密度进行估计，成为了城市管理中的一项重要的任务。人群密度估计在灾害防护、公共场所设计、人员智能调度等方面发挥着重要的作用。在灾害防护方面，当一个场景空间中容纳了过多的行人时，容易发生踩踏事故，而人群密度估计则能对这样的情形进行预警；在公共场所设计方面，商业区的店铺分布能够根据人流量来进行设计，能够更大效率地利用固定的商业区面积；在人员智能调度方面，安保人员能够根据实时的人群密度来进行动态的调整，例如火车站、地铁、码头等区域。人群密度估计的技术，还能为其它技术提供算法基础，例如行人的行为分析技术、行人检测技术、行人语义分割技术等。

目前人群密度估计的主要方法大致可以分为以下三种：

(1)基于检测的方法

此类方法通过检测人脸或者人头来对行人进行逐个的计数。该类方法的缺点主要有两个：①对于太小的人脸(人头)检测效果不好；②高密度人群的检测需要消耗巨大的计算资源。

(2)基于人数回归的方法

此类方法抽取图片的特征，直接对最终的人数进行回归。该类方法的缺点是训练时没有对行人的位置信息进行有监督的学习，因而模型缺乏定位行人的能力。

(3)基于密度图回归的方法

Learning to count objects in images(NIPS 2010)提出，对于计数类的问题，可以根据物体的位置生成密度图，将计数的问题转化为密度图回归的问题。该类方法能够有效地估计行人的位置，并且根据密度图输出一个相对准确的结果。因此，该发明使用了基于密度图回归的方法来估计人群的密度。

在基于密度图回归的方法中，Single-Image Crowd Counting via Multi-ColumnConvolutional Neural Network(CVPR2016)提出了多列卷积神经网络(MCNN)，该网络融合了多种大小的卷积核，因而能对不同尺度大小的人都作出一定的响应。SwitchingConvolutional Neural Network for Crowd Counting(CVPR2017)提出，通过一个额外的VGG模型来预测人群密集程度，来决定要使用MCNN的哪一个分支来预测人数，能够得到一定的提升效果。CNN-based Cascaded Multi-task Learning of High-level Prior andDensity Estimation for Crowd Counting(CVPR2017)提出了利用一个额外分支对总体人数进行回归，使用多任务的模型来进行人数的预测。这几种模型都是基于相同的MCNN作为基础网络(backbone)，因而相互之间具有参照价值。但是上述模型对密度图的预测依旧不够精准，导致最后的人数估计依然具有较大的误差。

发明内容