[发明专利]人群计数及定位方法、系统、电子终端及存储介质

说明书

本申请提供人群计数及定位方法、系统、电子终端及存储介质，其中，所述方法包括：获取待分析图像中的各子图像的与深度相关的基准框尺寸数据；基于所述与深度相关的基准框尺寸数据训练目标检测网络和密度图回归网络；将所述密度图回归网络输出的随深度变化的各密度图分配至所述目标检测网络的各网络层，以与网络层的特征相拼接；其中，拼接后的网络用于对所述待分析图像进行人群计数及定位处理。本申请基于RGBD数据并利用目标检测算法进行人群计数，并可以对人头部位置进行定位。本申请的技术方案可利用深度信息快速的标注基准框，还可设计深度相关的基准框，将回归得到的密度图作为注意力图分配到目标检测网络的不同层中以提高计数准确率和定位精度。

技术领域

本申请涉及安防监控控制领域，特别是涉及人群计数及定位方法、系统、电子终端及存储介质。

背景技术

人群计数是指对于图片和视频中的人群数量进行估计的一项技术。对人群场景进行快速准确的估计可以提高安防摄像头的使用效率，保障公众安全，节省人力成本。在一些场景，比如演唱会、体育活动等，人群的数量和密度可以对活动策划、交通管制等提供帮助。此外，人群计数可以拓展到其他领域，比如车辆计数、细胞计数、动物种群估计、农作物计数等方面，具有一定的经济价值。

基于人群计数的潜在价值，许多人群计数的方法应运而生。最早的人群计数方法使用了手工设计的特征通过检测的方法在视频中估计行人的数量。但由于人群计数场景中存在着严重的遮挡、视角扰动以及人头部的尺寸差异等问题，导致检测器的性能不佳，从而影响了最终的计数准确度。此外，也有一些基于跟踪的人群计数方法，这类方法通过对被跟踪对象的特征轨迹进行聚类的方式进行计数。在深度学习之前，人群计数中最广泛使用的方法是基于特征直接对人群的数量进行回归。但是这种方法非常依赖于对前景的准确分割。分割的好坏会影响计数的精度。此外还有一些其他的传统方法使用了一些特征的组合，比如HOG、小波分解、贝叶斯分析等特征。

尽管直接回归人数在一定程度上有效，但是他们忽视了人群场景中十分重要的位置信息，没有预测人群的分布。人群区域的密度在很多应用中都有意义，如果一个区域的密度比相邻的区域高很多，这可能意味着发生了异常的情况。

随着深度学习的快速发展，当前主流的对人群进行计数的方法是使用卷积神经网络通过回归密度图的方法进行计数。最早的基于卷积神经网络进行人群计数的方法是基于视角图和密度图的相似性选择与测试图片相似的训练图片来对提前训练好的模型进行精调，但是在实际应用中视角图较难获得，因而缺少了一定的实用价值。多列卷积神经网络通过后融合的方式，用不同感受野大小的单列卷积神经网络的特征来回归密度图，通过感受野的变化来适应人群计数中人头大小的巨大变化，从而提高计数的准确率。之后的一些工作大多是受其启发，对图片中的不同拥挤情况进行处理，从而提高计数的性能。还有一些方法是通过更改网络结构来提高计数的性能。此外，还有将检测得到的结果通过注意力的方式与密度图进行结合和使用互联网搜索的到的人群图片信息来辅助对密度图的回归从而提高计数的准确率的方法。

尽管人群计数任务中通过回归密度图的方法能够具有较好的计数性能，但是通过回归密度图的方法，我们无法得到人头的位置，这限制了此类方法的其他应用，比如异常检测和行人重识别等。但是对于检测的方法来说，由于无法检测小物体，往往会出现欠估计的问题。此外由于数据集的人数众多，人头尺寸较小，数据集的标注代价高昂，难以获得。

因此，现有的人群计数方法，无论是回归密度图还是检测方法都有不足之处。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供人群计数及定位方法、系统、电子终端及存储介质，用于解决现有技术问题。