[发明专利]一种基于深度学习的行人遮挡检测方法

权利要求书

1.一种基于深度学习的行人遮挡检测方法，其特征在于包括如下步骤：

S1)获取行人坐标

获取带有行人坐标标签的数据集，数据集包括行人的全身部分及可见部分的坐标位置；

S2)数据预处理

S2-1)对于采集的行人数据的全身部分进行无锚点数据预处理；具体地，将行人标注的左上角、右下角坐标进行格式转化，转化为行人的中心点及行人的高度信息，其中，行人的宽度信息可根据高度：宽度＝2.44:1来获取；

采用二维高斯掩码的方式对正样本提取中心点，如果中心点有重叠部分，选择重叠部分的最大值，公式为：

M_ij＝max_{k＝1，2...k}G(i,j；x_k，y_k，σ_w，σ_h)    (1)；

其中，G表示高斯函数，M_ij表示高斯掩码的最大值，x_k，y_k表示行人的中心点坐标，σ_w，σ_h表示行人宽和高的方差，i，j表示行人的像素坐标；G的公式为：

S2-2)对于采集的行人数据的可见部分进行遮挡扩充处理；具体地，将行人的身体部位拆分为四个部分：左上半身、右上半身、左腿和右腿，并对这四个部分中的某一个部分以0.5为阈值随机遮挡；

S2-3)数据增强，包括随机色彩变换、水平翻转、随机尺寸变换的处理；

S3)对图像进行特征提取

S3-1)对深度残差网络类中的ResNet50基础网络进行改进；具体地，将原ResNet50的第一到第四阶段每个阶段的特征图都下采样2倍，共下采样16倍，在第五阶段卷积层添加空洞卷积模块，对第五阶段的特征图下采样16倍；

S3-2)对改进的精炼神经网络RefineNet的特征融合模块TCB进一步改进，减少特征融合模块TCB的下采样次数；

对于ResNet50的每个阶段的特征图进行反向相邻阶段的特征融合；具体地，从最深层第五阶段的特征图开始与前一个阶段的特征图进行前向相加融合得到c4特征图，c4特征图进行上采样之后与第三阶段的特征图进行前向相加融合得到c3特征图，c3特征图进行上采样之后与第二阶段的特征图进行前向相加融合得到c2特征图；然后分别将c3上采样2倍，c4上采样4倍，使得c2、c3、c4这三个特征融合之后的特征图相比于原始图像都下采样4倍；完成特征融合的c2、c3、c4这三个特征图传入到检测头中；

S4)检测头网络结构的设计

采用双卷积检测头的方式，在RefineNet的连接特征融合之后引入两个卷积检测头，分别做分类和回归任务；

获取步骤S3)经过特征融合之后的特征图，用来做行人的全身部分的预测；将步骤S3)经过特征融合之后的特征图，经过3*3卷积，再分别采用1*1卷积来预测分类和回归结果；

S5)构造损失函数

总的损失函数由分类损失函数和回归损失函数组成，公式为：

L＝0.01L_center+L_scale    (3)；

其中，L_center表示中心点的分类损失函数，L_scale表示尺度的回归损失函数；

对于分类损失函数，由于正负样本严重不均衡，采用FocalLoss的损失函数，公式为：

其中，K表示所有图片数量，W和H分别表示图片的宽度和高度，r表示下采样的倍数，这里r＝4，p_ij表示是否是物体中心的概率值，其取值范围是[0,1]，α_ij表示正负样本的权重，M_ij如公式(1)，表示高斯掩码的最大值，将β设置为4；正负样本的权重α_ij的公式为：

对于回归损失函数，采用Smooth L1 Loss，公式为：

其中，P_k表示第k个预测框，G_k表示第k个groud truth，x为预测框与groud truth之间各元素绝对值的依次遍历；

S6)验证结果。