[发明专利]一种基于结构化知识蒸馏的人群计数模型及其方法

权利要求书

1.一种基于结构化知识蒸馏的人群计数模型，包括：

预处理单元，用于获取人群图像，对人群图像进行标注，利用标注的信息产生真实的人群密度图；

教师网络处理单元，用于多次迭代式地将所述预处理单元的不同人群图像输入使用结构复杂的重量级网络结构的教师网络进行预训练，产生各层特征，生成估计的第一人群密度图；

学生网络预处理单元，用于将所述预处理单元的人群图像输入使用精简的轻量级网络的学生网络，产生各层特征，生成估计的第二人群密度图；

知识蒸馏单元，用于对所述教师网络处理单元的各层特征进行知识蒸馏，计算所述学生网络处理单元的各层特征与对应的所述教师网络处理单元的各层特征的一元知识相似度和成对知识相关系数；

学生网络更新单元，用于使用所述知识蒸馏单元计算的一元知识相似度和成对知识相关系数，以及所述学生网络预处理单元生成的估计的人群密度图与所述预处理单元生成的真实人群密度图、所述教师网络处理单元生成的估计的人群密度图，计算所述学生网络的各项损失，更新所述学生网络的参数；

学生网络迭代训练单元，用于多次迭代式地对不同人群图像进行所述预处理单元、学生网络预处理单元、知识蒸馏单元以及学生网络更新单元的训练过程，直到满足设定的停止条件时停止训练。

2.如权利要求1所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于，所述预处理单元利用标注的人头位置信息通过高斯核生成对应的人群密度图：

当所述人群图像中人群密集时，所述预处理单元通过如下公式生成人群密度图，

当所述人群图像中人群稀疏时，所述预处理单元通过如下公式生成人群密度图，

其中，M代表所述人群图像中的人数，x代表图像中每个像素的位置，x_i代表第i个人的标注位置，δ(x-x_i)表示激活函数，当x与x_i的距离大于设定的阈值时为0，小于等于时为1，表示标准差为σ_i的高斯核，β为一常数，代表第i个人的标注位置与其周边的m个人的标注位置的平均距离，G_σ表示标准差固定为σ的高斯核。

3.如权利要求2所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于：所述教师网络处理单元使用结构复杂的重量级网络结构CSRNet或BL的教师网络对人群图像进行预训练，多次迭代式地将所述预处理单元的不同的人群图像输入教师网络，提取各层特征并生成估计的第一人群密度图，最后利用生成的估计的第一人群密度图与所述预处理单元产生的真实人群密度图基于均方误差计算损失，采用自适应矩估计优化算法更新网络参数。

4.如权利要求3所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于：所述学生网络预处理单元使用精简的轻量级网络结构1/n-CSRNet或1/n-BL的学生网络，精简方式是将CSRNet或BL网络中除了最后的输出层之外的每一层特征的通道数减少为原来的1/n，并使用所述预处理单元的不同的人群图像输入学生网络，提取各层特征，并生成估计的第二人群密度图。

5.如权利要求4所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于，所述知识蒸馏单元进一步包括：

一元知识相似性蒸馏模块，用于计算所述学生网络中特定层的特征与对应教师网络中特定层的一元知识相似度，以便实现将教师网络的特征传递给学生网络；

成对知识相关性蒸馏模块，用于计算所述学生网络的成对特征相关系数和教师网络的成对特征相关系数，以便实现将教师网络的求解流程传递给学生网络。

6.如权利要求5所述的一种基于结构化知识蒸馏的人群计数模型，其特征在于，所述一元知识相似性蒸馏模块具体用于：

对于所述学生网络的特定特征组S，通过一个1×1的卷积w_1×1调整通道数，使得特征的通道数与对应的教师网络的特征通道数一致，将调整后的学生网络的特征记为

对于所述学生网络的特征以及教师网络中对应的特征在位置(x，y)处使用cosine度量两个特征之间的一元知识相似度。