[发明专利]一种轻量级特征融合人群计数方法及系统

说明书

本发明公开了一种轻量级特征融合人群计数方法及系统，该方法步骤包括：根据数据集图片及对应每张图片标注，生成用于监督网络学习的真实密度图；将待计数的人群图片输入到LightCount网络中，LightCount网络包括多列并行卷积网络结构和单列深度卷积结构，多列并行卷积网络结构提取不同人头大小的特征，单列深度卷积结构提取图片信息，最终卷积操作得到预测密度图；将预测密度图与真实密度图进行欧氏距离比较，通过反向传播更新网络参数，训练得到最终的网络模型；将人群图片输入到最终的网络模型中，输出人群密度图，对人群密度图进行积分，得到最终预测的人群总数。本发明能减少网络参数量和计算时间，提高网络的计数准确性。

技术领域

本发明涉及人群计数技术领域，具体涉及一种轻量级特征融合人群计数方法及系统。

背景技术

人群计数任务旨在估计人群密度分布和人群总数。一般来说，人群计数主要包括以下几类主流方法：一是基于传统检测的方法，通过滑动窗口机制，使用窗口对图像中的人头进行检测，每个检测出来的人头用回归框标注，再计算人群总数，这种方法虽然简单，但并不能体现图像中人群的分布情况，更重要的是，该方法在面对密集人群计算时，性能会严重下降，造成巨大的估计误差；二是基于回归的传统图像处理方法，这种方法通过手工提取图像中的特征，如SIFT、HOG等特征然后使用线性回归等方法对特征进行处理得到人头总数；三是近年基于卷积神经网络的方法，Fu等人提出了第一个用于人群计数的卷积神经网络模型CovNet，该模型删除了特征图中存在的一些相似网络连接并连接两个分类器，提高模型的计算速度和人群计数的准确性。随后，MCNN是第一个被提出用来处理人群基数任务的多列卷积神经网络。MCNN拥有三个卷积分支，分别使用大、中、小三种卷积核提取密集、适中、稀疏区域的人群不同聚集程度的特征，取得了一定的成效。但由于MCNN是多分支结构，需要对每个分支进行预训练，不属于完全端到端的训练方法，需要耗费更多的计算资源和训练时间，且由于MCNN三列分支是并行的，其网络结构冗余，网络结构不够精简，网络参数量大，推断时间长，不利于模型在中小平台上部署。因此，有人提出了单分支的卷积神经网络来解决这些问题，如CSRNet；CSRNet使用空洞卷积操作和单分支的卷积神经网络解决人群密度尺度不均的问题，通过扩张卷积操作的感受野提取更多对任务有用的特征，也取得了良好的成效，但由于CSRNet的网络较深，需要训练更多的网络参数量，也不利于在其他平台上部署。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种轻量级特征融合人群计数方法，本发明融合多列和单列卷积神经网络的优点，在保证效果的情况下精简网络结构，使网络更适用于其他计算资源有限的设备平台。

本发明的第二目的在于提供一种轻量级特征融合人群计数系统；

本发明的第三目的在于提供一种计算设备。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种轻量级特征融合人群计数方法，包括下述步骤：

数据集预处理：根据数据集中的图片及对应每张图片中人头中心点的二维坐标标注，生成真实密度图，所述真实密度图用于监督网络学习；

构建LightCount网络，将待计数的人群图片输入到LightCount网络中，输出预测密度图；

所述LightCount网络包括多列并行卷积网络结构和单列深度卷积结构，所述多列并行卷积网络结构设有不同大小的卷积核的并列卷积层，用于提取不同人头大小的特征，所述单列深度卷积结构设有多个串联卷积层和串联最大池化层，用于提取图片信息，各层卷积层输出特征图，最终卷积操作得到预测密度图；

将所述预测密度图与所述真实密度图进行欧氏距离比较，通过反向传播更新网络参数，训练得到最终的网络模型；

将人群图片输入到最终的网络模型中，输出人群密度图，对人群密度图进行积分，将人群密度图中所有像素点的数值相加，得到最终预测的人群总数。