[发明专利]一种基于多层级特征融合的人群计数方法

权利要求书

1.一种基于多层级特征融合的人群计数方法，其特征在于，该方法具体包括以下步骤：

步骤S1：对获取的人群图像预处理，并利用标注信息产生对应的人群密度图，具体方式如下：

步骤S11：对采集到的人群图像进行中心化处理，具体方式为，对图像R,G,B三个通道上元素减去通道对应的平均值，然后除以通道对应的标准差，R,G,B三通道对应的平均值为(0.485,0.456,0.406),对应标准差为(0.229,0.224,0.225)；

步骤S12：对提供的标注信息生成位置矩阵，具体方式为，创建一个与对应图像分辨率大小相同的元素全为0的矩阵，依据标注信息提供的坐标将矩阵对应位置的元素设置为1；

步骤S13：将中心化后的人群图像以及对应的位置矩阵进行随机裁剪固定大小的图像块和矩阵，具体实施例中，裁剪大小为400×400；

步骤S14：将位置矩阵通过高斯核卷积生成对应的人群密度图，具体方式为，生成两个一维高斯卷积核，其中μ＝15，σ＝4，将其中一个高斯卷积核转置，并与另外一个相乘，得到二维高斯卷积核，将二维高斯卷积核与位置矩阵中大小为1的元素进行卷积运算，生成人群密度图；

步骤S15：将步骤S14生成的密度图下采样为200×200分辨率大小，具体方式为，将2×2参数都为1的卷积核，以步幅为2对密度图进行卷积运算；

步骤S2：构建多层级特征融合的人群计数网络，具体方式如下：

步骤S21：搭建不包含全连接层的VGG16网络；

步骤S22：搭建通道域注意力模块，具体方式为，搭建通道域上全局平均池化层，将输入特征X池化为1×1×C的特征，在池化层后增加两个全连接层，包含神经元数量分别为C/4，C，在两个全连接层后搭建一层Sigmoid激活层，将激活层输出与输入特征X进行元素相乘操作，得到通道域注意力模块的输出；

步骤S23：将步骤S21搭建的VGG16网络的第五层至第四层的输出特征X₅₀,X₄₀进行特征融合，具体方式为，将第五层输出特征X₅₀进行上采样操作(上采样层的放大因子都为2)，将上采样后的特征与第四层输出特征X₄₀在通道域上进行拼接操作，将拼接后的特征输入通道域注意力模块，将通道域注意力模块的输出输进由两个3×3通道数为256的卷积层组成的卷积块，得到卷积块的输出特征X₄₁；

步骤S24：将步骤S21搭建的VGG16网络的第四层至第三层的输出特征X₄₀,X₃₀，以及步骤S23得到的特征X₄₁进行特征融合，具体方式为，将特征X₄₀进行上采样，并将上采样后的结果与特征X₃₀在通道域上进行拼接操作，将拼接后的特征输入两个3×3通道数为128的卷积层组成的卷积块，得到特征X₃₁，将特征X₄₁进行上采样操作得到特征X₃₂，将特征X₃₁与特征X₃₂在通道域上进行拼接操作，将拼接后的特征输入通道域注意力模块，将通道域注意力模块的输出输进由两个3×3通道数为128的卷积层组成的卷积块，得到卷积块的输出特征X₃₃；

步骤S25：将步骤S21搭建的VGG16网络的第三层至第二层的输出特征X₃₀,X₂₀，以及步骤S24得到的特征X₃₁，X₃₃进行特征融合，具体方式为，将特征X₃₀进行上采样操作，并将上采样后的特征与特征X₂₀在通道域上进行拼接操作，将拼接后的特征输入两个3×3通道数为64的卷积层组成的卷积块，得到特征X₂₁，将特征X₃₁进行上采样操作得到特征X₂₂，将特征X₂₁与特征X₂₂在通道域上进行拼接操作，将拼接后的特征输入两个3×3通道数为64的卷积层组成的卷积块，得到卷积块的输出特征X₂₃，将特征X₃₃进行上采样操作得到特征X₂₄，将特征X₂₃与特征X₂₄在通道域上进行拼接操作，将拼接后的特征输入通道域注意力模块，将通道域注意力模块的输出输进两个3×3通道数为64的卷积层和一个3×3通道数为32的卷积层组成的卷积块，将卷积块的输出输进一个1×1通道数为1的卷积层，完成多层级特征融合的人群计数网络的构建；

步骤S3:初始化网络权重参数，具体方式为，对于步骤S2获得的人群计数网络，其特征提取器VGG16的初始值为不包含全连接层的VGG16的ImageNet的分类权重，其他的卷积层和全连接层都采用正太分布初始化参数，其中：μ＝0，σ＝0.01；

步骤S4:将步骤S1预处理后的人群图像和人群密度图输入网络，完成前向传播；

步骤S5:将步骤S4前向传播的结果与输入网络的真实密度图计算损失，更新模型参数，具体方式如下：

步骤S51:计算前向传播的结果与真实密度图的均方差损失L_MSE，具体方式为：

其中，N代表一次前向传播的输入数据的样本数，N＝8，代表当前第i个数据前向传播计算的密度图，代表当前第i个数据的真实密度图；

步骤S52:将步骤S51计算得到的损失L_MSE利用随机梯度下降法更新模型参数；

步骤S6:迭代步骤S4，S5到指定次数，具体方式为，迭代次数为50次；

步骤S7:获取人群密度图，得到估计人数，具体方式为，将模型计算的人群密度图中的所有像素求和得到人群图像中包含的人数。