[发明专利]一种基于深度学习的人群计数模型及其实现方法

权利要求书

1.一种基于深度学习的人群计数模型，包括：

预处理单元，用于获取人群图像，对获取的人群图像进行预处理后输出至特征提取单元，并利用标注信息产生对应的人群密度图；

特征提取单元，用于将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用特征增强模块增强各个尺度的特征；

估计人群密度图生成单元，用于将多个子网络产生的特征结合，生成估计的人群密度图；

更新单元，用于根据所述估计人群密度图生成单元生成的估计的人群密度图与所述预处理单元生成的真实人群密度图计算损失，更新模型参数；

迭代训练单元，用于多次迭代式地对不同人群图像进行所述预处理单元、特征提取单元、估计人群密度图生成单元以及更新单元的训练过程，直到满足设定的停止条件时停止训练；

所述预处理单元进一步包括：

图像裁剪模块，用于对获取的人群图像随机裁剪成固定大小的图像；

人群密度图生成模块，用于利用标注的人头位置信息通过高斯核生成对应的人群密度图，将其作为标签图像；

所述人群密度图生成模块通过如下公式生成人群密度图：

其中，M代表所述人群图像中的人数，x代表图像中每个像素的位置，x_i代表第i个人的标注位置，δ(x-x_i)表示激活函数，表示标准差为σ_i的高斯核，β为一常数，/代表第i个人的标注位置与其周边的m个人的标注位置的平均距离，/

所述特征提取单元进一步包括：

子网络构建模块，用于构建多个并行的子网络，对输入的人群图像提取多个尺度的图像的特征；

特征增强模块，用于在子网络各个下采样层前结合不同尺度的特征，增强各个尺度的特征；

所述并行的子网络使用相同的网络结构并共享参数，由预训练的VGG-16模型的前十个卷积层组成，前十个卷积层分成四组，每一组卷积层之间都有一个下采样层，用于扩大感受野；

所述特征增强模块设置在每一组卷积层后下采样层前，基于条件随机场对各个子网络中相同大小的特征进行互补增强。

2.如权利要求1所述的一种基于深度学习的人群计数模型，其特征在于：所述特征增强模块基于条件随机场增强各个尺度的特征具体为根据如下公式：

/

其中，f_i为第i个子网络的原特征，为迭代增强过程中的中间特征，/为第i个子网络增强后的特征，/为可学习的参数。

3.如权利要求1所述的一种基于深度学习的人群计数模型，其特征在于：所述估计人群密度图生成单元采用自顶向下的方式所述特征提取单元产生的多个特征组，将不同感受野、不同尺度的特征结合生成估计的人群密度图。

4.如权利要求1所述的一种基于深度学习的人群计数模型，其特征在于：所述更新单元利用所述估计人群密度图生成单元中生成的估计的人群密度图与预处理单元产生的真实人群密度图基于扩张卷积算法的多尺度结构相似性计算损失，并采用自适应矩估计优化算法更新模型参数。

5.一种权利要求1至4任一所述的基于深度学习的人群计数模型的实现方法，包括如下步骤：

步骤S1，获取人群图像，对获取的人群图像进行预处理并利用标注信息产生对应的人群密度图；

步骤S2，将输入的人群图像缩放成多个尺度版本，通过多个子网络提取各个尺度的特征，并利用特征增强模块增强各个尺度的特征；

步骤S3，将多个子网络产生的特征结合，生成估计的人群密度图；

步骤S4，根据估计的人群密度图与真实的人群密度图计算损失，更新模型参数；

步骤S5，利用不同人群图像多次迭代式地进行步骤S1-S4的训练过程，直到符合停止的条件。