[发明专利]融合人体关键点与可见部位注意力特征的行人检测方法

权利要求书

1.一种融合人体关键点与可见部位注意力特征的行人检测系统，其特征在于它包括数据采集单元、融合人体关键点与可见部位注意力特征的行人检测单元；其中，融合人体关键点与可见部位注意力特征的行人检测单元由特征提取模块、人体关键点生成模块、带有计算样本质量分数的区域提议网络模块、感兴趣区域池化模块、关键点注意力模块、可见部位注意力模块和检测头模块组成；所述数据采集单元对数据集中的图片及可见部位的标签信息进行采集，其输出端分别连接特征提取模块、人体关键点生成模块及可见部位注意力模块的输入端；所述人体关键点生成模块的输出端连接关键点注意力模块的输入端；所述特征提取模块的输出端与感兴趣区域池化模块的输入端连接；所述带有计算样本质量分数的区域提议网络模块的输入端连接特征提取模块，其输出端与感兴趣区域池化模块的输入端连接；所述关键点注意力模块的输入端与感兴趣区域池化模块的输出端连接，其输出端连接可见部位注意力模块及检测头模块的输入端；所述可见部位注意力模块的输出端连接检测头模块的输入端；所述检测头模块的输出端输出检测结果。

2.根据权利要求1所述一种融合人体关键点与可见部位注意力特征的行人检测系统，其特征在于所述检测头模块是由2个全连接层组成的结构，分别用于进行检测框的定位和行人的分类。

3.一种融合人体关键点与可见部位注意力特征的行人检测方法，其特征在于它包括以下步骤：

(1)由数据采集单元对待识别图片进行采集，并将人体可见部位的标签信息输入到可见部位注意力模块；由特征提取模块利用VGG16网络完成对输入的待识别图片进行图像特征的提取：

(2)由人体关键点生成模块对人体关键点进行生成：

人体关键点生成模块中利用现有的姿态估计网络对输入图像中的行人提取人体关键点，并输出对应人体关键点的响应度图，其中，人体关键点对应不同的人体部位，利用人体关键点的响应度图与图像中被遮挡的人体部位的特征相乘，即可对图像中被遮挡的人体部位的特征进行抑制，从而减少遮挡物对人体特征的干扰；

(3)建立带有计算样本质量分数的区域提议网络模块的模型：

(3-1)由带有计算样本质量分数的区域提议网络模块生成步骤(1)的输出特征对应的候选检测框样本，并利用公式(1)计算每个样本与标签框的交并比；由于交并比代表样本与标签框的接近程度，交并比越大则代表当前样本属于正样本，相反越小则代表当前样本属于负样本；

其中，area(A)和area(B)分别表示候选检测框样本的面积和标签的面积；

(3-2)计算步骤(3-1)输出的候选检测框样本的质量分数：

(3-2-1)假设候选检测框样本的集合为S，对步骤(3-1)产生的每个样本利用公式(2)-(4)计算与之对应的标签的分类损失Loss^cls、定位损失Loss^reg和交并比损失Loss^iou：

Loss^iou＝1-IoU (4)

其中，式(2)中N代表特征的维度，i代表集合S中的第i个样本，y_i表示集合S中第i个样本的标签，p_i表示第i个样本的类别属于行人的概率；式(3)中表示集合S中第i个样本所对应的标签；

(3-2-2)对步骤(3-2-1)得到的每个样本计算后的三个损失求和，如式(5)所示：

其中，α，β，γ分别代表控制三个损失的权重，实施例中α＝2，β＝2，γ＝1，i表示样本集合S中的第i个样本，C_i值的大小代表第i个样本与标签的质量分数即相似程度；且C_i值越小代表该样本与标签越相似，表明该样本属于高质量的样本，相反则属于低质量的样本；

(3-2-3)选出C_i值最小的样本，记作P_i^*，P_i^*代表质量最优的样本，如式(6)所示；

(3-2-4)利用式(7)对样本C_i进行归一化处理，随后对样本集合S中除C_i值最小的样本P_i^*外，剩余的其他样本进行如式(8)所示的置信度重分配的操作：

其中，代表除去后集合中剩余样本的置信度；

(4)感兴趣区域池化模块对特征提取模块输出的特征以及带有计算样本质量分数的区域提议网络模块输出的候选检测框进行处理，将候选检测框对应的特征统一缩放，得到F特征；

(5)构建关键点注意力模块和可见部位注意力模块的模型：

(5-1)关键点注意力模块的构建，将由步骤(2)提取的输入图像中行人的人体关键点，通过卷积和全连接层，得到注意力权重图Att_k，如式(9)所示：

Att_k＝FC(ReLU(Conv(Key Points))) (9)

其中，FC为全连接层，ReLU为激活函数,Conv为卷积运算，Key Points为行人的关键点信息；

随后将公式(9)得到的注意力权重图Att_k与(4-1)输出的F特征相乘，并记相乘结果为该结果代表在特征F的通道上对行人特征中被遮挡的部位进行抑制后的特征，如式(10)所示：

(5-2)可见部位注意力模块的构建，利用数据集中的行人可见部位的标签信息，将可见部位的区域记为1，其他位置记为0，则可见部位的注意力图Att_v，如式(11)所示：

Att_v∈[1×7×7] (11)

随后将步骤(5-1)的输出与步骤(5-2)的输出Att_v作为可见部位注意力模块输入，计算两者的乘积，该计算结果代表在F特征的空间上对行人特征中被遮挡的部位进行抑制后的特征，进一步减少遮挡物对人体特征的干扰，记为如式(12)所示；

(5-3)将步骤(5-1)得到的输出与步骤(5-2)得到的输出进行融合相加，得到融合后的特征作为输出，该结果代表在特征F的空间和通道上对遮挡信息进行抑制后的特征，如式(13)所示，记为F_out；

最后，将(5-3)的输出的F_out送入检测头模块进行检测框的定位和行人的分类，并进行损失计算，得到最终检测结果；

(6)融合人体关键点和可见部位注意力特征方法对检测效果的贡献在于该方法抑制了遮挡物的信息，提升行人人体的信息，从而得到更好的检测效果。