[发明专利]一种基于前景分割图的人群密度估计方法

说明书

本发明公开了一种基于前景分割图的人群密度估计方法，该方法包含以下步骤：标注每张图的人头获得点标记图；基于点标记图利用高斯平滑方法得到人群密度图；基于密度图利用阈值分割的方法获得人群前景分割图；分别设计用于图像特征提取的神经网络，用于人群密度回归的神经网络分支，和用于人群前景分割的神经网络分支，最后将两个网络分支的输出融合得到最终输出；制作训练集，训练模型；利用训练好的模型测试输入图像得到人群密度估计结果。本发明方法无需额外的标记信息就可以让神经网络学习到前景分割信息，利用该方法可以有效的避免复杂背景的误检问题。

技术领域

本发明属于计算机视觉、图像处理领域，尤其涉及一种基于前景分割图的人群密度估计方法。

背景技术

给定一张图片利用计算机视觉技术检测出图像中的人群总数和人群空间分布，这就是人群密度估计任务。现有的人群密度的估计方法主要有基于目标检测的行人检测，头肩检测方法和基于密度图回归两种方式。基于目标检测的方法将人群密度估计转换为行人检测问题，最后对检测到的目标进行统计得到最终的人数。这类方法对于稀疏人群的检测效果较好，对于高密度区域，由于遮挡，尺度等因素，检测准确率会急剧下降。基于密度图回归的方法将图像区块看成整体直接通过局部图像特征回归出该区域的人数，这类方法可以有效的解决目标遮挡、尺度过小等问题，对于高密度人群图像的回归精度较高，存在问题是对于稀疏人群效果较差，容易造成背景误检，无法获得具体目标的位置。

基于单张图的密度图回归方法是目前采用比较多的算法，然而却存在较多的复杂背景误检问题，这在实际应用场景中是必须要避免的，本发明提出一种新的基于前景分割图的人群密度估计方法，可以有效的抑制背景误检问题，不仅可以提高算法的稳定性，还可以提升算法精度。

发明内容

发明目的：针对以上问题，本发明提出一种基于前景分割图的人群密度估计方法，该方法可以同时预测前景分割图和人群密度图，最后将两者融合可以有效的去除背景的误检。

技术方案：为实现本发明的目的，本发明提出一种基于前景分割图的人群密度估计方法，该方法包括以下步骤：

步骤1：标注每张包含人群的图像中的人头获得点标记图；

步骤2：基于点标记图利用高斯平滑方法得到人群密度图；

步骤3：基于人群密度图利用阈值分割的方法获得人群前景分割图；

步骤4：分别设计用于图像特征提取的神经网络(骨干网络)，用于人群密度回归的神经网络分支(回归网络分支)，和用于人群前景分割的神经网络分支(前景分割网络分支)，图像先输入到骨干网络得到图像特征；然后，图像特征同时输入到回归网络和前景分割网络分支分别得到人群密度图和人群前景分割图，最后将两个网络分支的输出融合得到最终输出；

步骤5：利用步骤1-3的方法制作数据集，训练网络模型；

步骤6：利用训练好的模型测试输入图像得到人群密度估计结果。

进一步，所述步骤1中包含如下内容：

对训练集每张人群图片进行标记，标记为点标记，即在每个人头上标记一个点，表示一个人。获得点标记图，点标记图为一个通道数为1的灰度图，其大小与人群图片大小一致，在有人头的位置数值为1，其他为0。

进一步，所述步骤2中包含如下内容：

确定高斯核大小：观察数据集的人头大小分布情况，确定高斯滤波核的大小，高斯核的最佳大小与人头大小一致。

进行高斯核卷积：对步骤1得到的点标记图进行卷积操作，得到人群密度图，网络训练时，作为整个网络最终输出的学习目标。参考图2所示人群密度越高的地方颜色越亮，这里人群密度图的灰度值代表了人群密度。

进一步，所述步骤3中包含如下内容：