[发明专利]基于结合全局密度特征的MCNN人群计数方法

权利要求书

1.基于结合全局密度特征的MCNN人群计数方法，其特征在于，包括如下步骤：

(1)准备训练样本集：根据带有人头位置标注的图像数据集，利用二维高斯卷积核，生成数据集中每张图像对应的人群密度图标签和密度等级标签，组成得到训练样本集；

(2)输入图像，利用结合全局密度特征的MCNN网络中两个子任务分别提取输入图像的全局密度特征和人群计数特征，并通过特征拼接的方式融合两个子任务中提取得到的特征，得到结合全局密度特征的特征图；

(3)利用最大-均值池化和反卷积层，对结合全局密度特征的特征图进行处理，得到最终估计的特征图；

(4)将最终估计的特征图映射为密度图，通过对密度图进行积分，实现人群数量的估计。

2.根据权利要求1所述的基于结合全局密度特征的MCNN人群计数方法，其特征在于：所述步骤(1)的具体步骤为：

(1.1)利用二维高斯卷积核将输入数据集中的人头位置标注转换为人群密度图标签，对于一张带有N个人头的图像，其人群密度图标签可用如下公式(1)表示：

其中，G_σ(x)是一个二维高斯卷积核，σ是它的宽度参数，δ(x-x_i)是delta函数，x_i表示一个人头标注点所在的位置；

(1.2)根据输入的数据集生成密度等级标签，由数据集中的最大人数N_max与最小人数N_min相减来确定人数变化范围，每张输入图像的密度等级可由下式(2)确定：

其中，表示每个密度等级的人数范围，round()表示采用四舍五入取整，M表示密度等级类别数，M取决于数据集中的人群密度变化，变化越大，则等级类别数设置越高。

3.根据权利要求1所述的基于结合全局密度特征的MCNN人群计数方法，其特征在于：所述步骤(2)具体包括如下步骤：

(2.1)输入图像通过初始卷积层提取浅层特征，初始卷积层由2个卷积层组成，第一个卷积层有16个大小为9×9的卷积核，第二个卷积层有32个大小为7×7的卷积核，提取出的浅层特征通过密度等级分类子任务和人群计数子任务进一步处理；

(2.2)密度分类子任务由四个卷积层组成，参数设置可以表示为16×9×9，32×7×7，16×7×7，8×7×7，这4个卷积层用于全局特征密度特征提取，提取到的全局密度特征图输入到自适应池化层、全连接层，自适应池化层是为了当输入不同尺寸的图像时，能够提取到固定大小的特征，全连接层输出节点数应该和密度等级数保持一致，最后使用softmax分类器完成密度等级分类；

(2.3)人群计数子任务，使用两列卷积神经网络的结构提取图像中的人群计数特征，通过每列不同的卷积核大小来对应不同的尺度特征，第一列子网络的参数设置可以表示为20×7×7，40×5×5，20×5×5，10×5×5，第二列子网络的参数设置可以表示为24×5×5，48×3×3，24×3×3，12×3×3，两列子网络的输出特征与密度分类子任务提取的全局密度特征在列维度上进行拼接，得到结合全局密度特征的特征图。

4.根据权利要求1所述的基于结合全局密度特征的MCNN人群计数方法，其特征在于：所述步骤(3)的具体步骤为：

(3.1)使用最大-均值池化代替最大值池化，保留更多图像特征信息，最大-均值池化可用如下公式(3)表示：

其中，v_m表示提取自图像的滑动窗口中T个像素点的第m个像素点，m表示该元素在滑动窗口中的空间方位，池化步骤利用以上定义的空间池化算子F将v_m映射为相应的统计值；

(3.2)通过两个卷积层对结合全局密度特征的特征图进行增强生成特征图的特征映射，并使用两个反卷积层还原特征图分辨率以及下采样过程中损失的部分细节特征，得到最终估计的特征图。

5.根据权利要求1所述的基于结合全局密度特征的MCNN人群计数方法，其特征在于：所述步骤(4)中，使用1×1的卷积将最终估计的特征图映射为对应的密度图。

6.根据权利要求1所述的基于结合全局密度特征的MCNN人群计数方法，其特征在于：所述的结合全局密度特征的MCNN网络，在计算该MCNN网络的损失函数时，使用多任务级联的方式进行训练，两个子任务的损失函数分别可用公式(4)和(5)表示，实际训练时使用结合两者后的损失函数以及步骤(1)中准备的训练样本集进行同时训练，结合后的损失函数如公式(6)所示：

L＝L₁σ+L₂ (6)

其中，N为训练样本的数量，M是密度等级类别数，pⁱ是真实的分类等级，X_i表示第i张训练图片，D_i表示密度等级分类阶段获得的特征图，θ为从深度卷积网络中学习到的参数，F₁(X_i；θ)等同于logp_i，j，表示第i张训练图片估计为第j个分类等级的概率，F₂(X_i；D_i；θ)表示人群计数阶段估计得到的密度图，F_i是真实的标注密度图，L₁为估计的密度等级和实际的密度等级之间的误差，L₂为估计得到的密度图和真实标注的密度图之间的损失值，σ为权重。