[发明专利]一种基于结构化知识蒸馏的人群计数模型及其方法

说明书

本发明公开了一种基于结构化知识蒸馏的人群计数模型及其方法，该方法包括：步骤S1，获取人群图像，利用标注的信息生成对应的真实的人群密度图；步骤S2，多次迭代式将不同的人群图像输入重量级的教师网络进行预训练，提取各层特征，并生成估计的人群密度图；步骤S3，将人群图像输入轻量级的学生网络，提取各层特征，并生成估计的人群密度图；步骤S4，计算对应学生网络与教师网络特征的一元知识相似度和成对知识相关系数；步骤S5，通过一元知识相似度和成对知识相关系数以及各人群密度图，计算损失，更新学生网络的参数；步骤S6，利用不同人群图像多次迭代式地进行S1以及S3‑S5的训练过程，直到符合停止条件。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于结构化知识蒸馏的人群计数模型及其方法。

背景技术

人群计数是人群分析的重要技术，其目标是自动计算出监视情景中的总人数。随着城镇人口的急剧增加，人群计数在视频监控、拥堵报警和交通管理等方面有着很广泛的应用，这使其成为一个热门的研究课题。

近年来，深度神经网络成为人群计数领域的主流方法，在代表性学习能力方面取得了显著的进展。为了取得更好的进展，一些前沿方法使用了重量级的主干网络(如VGG)来提取特征，例如，Yuhong Li等人在2018年的研究工作“CSRNet:Dilated convolutionalneural networks for understanding the highly congested scenes”(IEEEConference on Computer Vision and Pattern Recognition(CVPR),2018)提出了针对复杂拥挤场景理解的CSRNet网络结构,网络前端采用的是VGG-16的卷积层部分提取二维特征，后端则采用了扩张卷积层扩大特征提取的感受野，在拥挤人群场景取得了显著的效果，然而，该方法效率很低，需要巨大的计算成本，而且运行速度很慢，因此如何通过已有的预训练好但笨重的网络来获取高效的人群计数成为目前需要解决的问题。

对于该问题，目前在压缩和加速卷积神经网络方面已有不少尝试，但这些方法或者需要进行繁琐的超参数调整，或者需要依赖特定的硬件平台。

近来，应用广泛的知识蒸馏(Knowledge Distillation,即KD)方法是一个可取的选择，它通过训练一个简单的轻量级学生网络，模仿一个复杂的重量级教师网络的知识，已有很多工作证明了它在图像分类上的有效性，但在人群计数方面，如何蒸馏现有的重量级模型却是一个未经探索的问题。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于结构化知识蒸馏的人群计数模型及其方法，以提高人群计数的效率。

为达上述目的，本发明提出一种基于结构化知识蒸馏的人群计数模型，包括：

预处理单元，用于获取人群图像，对人群图像进行标注，利用标注的信息产生真实的人群密度图；

教师网络处理单元，用于多次迭代式地将所述预处理单元的不同人群图像输入使用结构复杂的重量级网络结构的教师网络进行预训练，产生各层特征，生成估计的第一人群密度图；

学生网络预处理单元，用于将所述预处理单元的人群图像输入使用精简的轻量级网络的学生网络，产生各层特征，生成估计的第二人群密度图；

知识蒸馏单元，用于对所述教师网络处理单元的各层特征进行知识蒸馏，计算所述学生网络预处理单元的各层特征与对应的所述教师网络处理单元的各层特征的一元知识相似度和成对知识相关系数；

学生网络更新单元，用于使用所述知识蒸馏单元计算的一元知识相似度和成对知识相关系数，以及所述学生网络预处理单元生成的估计的人群密度图与所述预处理单元生成的真实人群密度图、所述教师网络处理单元生成的估计的人群密度图，计算所述学生网络的各项损失，更新所述学生网络的参数；