[发明专利]基于CNN低层语义特征密度图的人群密度估计方法

权利要求书

1.基于CNN低层语义特征密度图的人群密度估计方法，其特征在于，包括以下步骤：

S1、数据的预处理，根据原图像的行人位置生成密度图；

S2、对原图像和步骤S1中生成的密度图进行切片；

S3、基于MCNN计算出初始的MCNN密度图：对原图像进行MCNN多分支特征提取，对各分支特征进行卷积、池化操作后，通过MCNN特征图融合器对各分支特征进行连接，得到MCNN连接特征图，对MCNN连接特征图进行卷积操作，得到初始的MCNN密度图；

S4、对原图像进行卷积，得到具有低层语义特征图；

S5、将低层语义特征图与MCNN多分支特征提取后各分支生成的特征图在通道数这一维度进行连接，完成特征的编码，得到连接特征图；

S6、用若干层卷积层对连接特征图进行解码，生成最终的密度图；对得到的最终密度图的每个像素相加求和，得到图片中的人数；

步骤S1中，一幅有N个人头的带有标签的人头图像表示为：

其中，x_i表示人头在图像中的像素位置，δ(x-x_i)表示图像中人头位置的冲击函数，N为图像中的人头总数；如果x位置有人头，则δ(x)为1，否则为0；H(x)为数据预处理之前的行人位置；

数据预处理之后的密度图F(x)为：

其中，表示高斯核，σ_i表示高斯核的标准差；d_i表示距离x_i人头最近m个人头与该人头的平均距离；β为常数，取0.3；

步骤S2进行切片时，对原图像进行长宽均为相同比例的随机切片；所述比例设有三种，分别为原图1/2、1/3和1/4，每种比例切出9张子图像；

步骤S3中，初始MCNN密度图和密度图真实值之间使用平方差损失函数得到L_origin，即L_origin＝(output_MCNN-target)²，其中，output_MCNN表示MCNN模型的输出，target表示MCNN密度图真实值；

步骤S4中，低层语义特征图包含着边缘特征低层语义的信息，密度图修正网络AmendNet模型根据低层语义的信息对步骤S3所生成的初始MCNN密度图进行一次修正；

步骤S6中，最终密度图和密度图真实值使用平方差损失函数s得到L_final，即L_final＝(output_final-target)²，其中，output_final表示最终密度图修正网络AmendNet模型的输出。

2.根据权利要求1所述的基于CNN低层语义特征密度图的人群密度估计方法，其特征在于，步骤S3采用多路卷积网络实现。

3.根据权利要求2所述的基于CNN低层语义特征密度图的人群密度估计方法，其特征在于，所述多路卷积网络包括第一分支、第二分支及第三分支，第一分支、第二分支及第三分支分别对原图像进行卷积和池化操作，分别得到三路分支提取出的特征图；多路卷积网络将三路分支提取出的特征图在通道数的维度上进行连接，得到MCNN连接特征图。

4.根据权利要求3所述的基于CNN低层语义特征密度图的人群密度估计方法，其特征在于，所述第一分支先后经过9*9*16的卷积、7*7*32的卷积、2*2的池化层，7*7*16的卷积、2*2的池化层、7*7*8的卷积后，得到第一分支提取出的特征图。

5.根据权利要求3所述的基于CNN低层语义特征密度图的人群密度估计方法，其特征在于，所述第二分支先后经过7*7*20的卷积、5*5*40的卷积、2*2的池化层、5*5*20的卷积、2*2的池化层、5*5*10的卷积后，得到第二分支提取出的特征图。