[发明专利]融合人体关键点与可见部位注意力特征的行人检测方法

说明书

一种融合人体关键点与可见部位注意力特征的行人检测方法，通过引入人体关键点注意力机制和可见部位注意力机制来对严重遮挡的行人特征进行优化，在抑制遮挡物的特征信息的同时使更多的特征信息聚集在行人上，减少遮挡物对模型的干扰，使得模型能够较好地检测处于严重遮挡状态的行人目标，同时为了提升检测框的质量，本方法通过衰减低质量样本的置信度来提升检测的精准度。基于本方法的行人检测在Citypersons数据集上的漏检率为40.59%，相比其他方法有更低的漏检率，对于严重遮挡的行人检测任务具有一定的实用价值。

【技术领域】

本发明涉及模式识别、图像处理以及计算机视觉等领域，具体为一种融合人体关键点与可见部位注意力特征的行人检测方法。

【背景技术】

近年来，人工智能在监控、公共安防等领域中的应用越来越多，并且随着算法能力的提升，人工智能在这些领域具有重要的发展意义，它不仅能够无间断地进行监控和相关辅助工作，而且可以帮助人工进行监控减少人工的出错率。然而，现实场景存在大量行人密集的场景，例如，人与人、人与物之间存在较多的遮挡，对于普通的检测算法很难处理这样的问题，很容易产生漏检、误检等问题。

Faster Region Convolutional Neural Network(Faster RCNN)即一种快速且带有区域信息的卷积神经网络，是基于深度学习并用于目标检测任务的算法，其流程大致为：首先将输入图片通过深度网路提取图片中的特征；其次将该特征送入区域提议网络(RPN，Region Proposal Network)，该模块负责两个功能，其一是在图像上生成不同大小和不同长宽比的锚框/候选检测框(Anchor)，并通过交并比(IoU，Intersection over Union)函数对这些候选检测框进行正负样本判断；其二是在上述的候选检测框集合中选择出最优的框作为目标的候选框。然后通过感兴趣区域池化(RoI Pooling，Region of InterestPooling)，将不同大小的候选区域所对应的特征缩放至相同尺寸即7*7大小的特征，便于后续的操作。最后对上述处理后的特征分别进行分类和检测框的定位，得到最终的检测结果。

行人检测是目标检测的子任务，其目标是对于输入的图像，通过算法的处理在原图上显示出代表行人的位置的矩形框，常采用Faster RCNN检测算法。然而，行人检测的难点主要在于在遮挡程度较高的场景中，普通的检测算法很难检测出被遮挡的目标。

【发明内容】

本发明的目的在于提出一种融合人体关键点与可见部位注意力特征的行人检测方法，它可以克服现有技术的不足，是一种基于注意力机制的行人检测模型，通过引入人体关键点的注意力机制和可见部位的注意力机制，用以针对严重遮挡的行人目标的行人检测方法，该方法提升了对严重遮挡的行人目标的检测效果，检测准确率更高，具有一定的实用价值。

本发明的技术方案：一种融合人体关键点与可见部位注意力特征的行人检测系统，其特点在于它包括数据采集单元、融合人体关键点与可见部位注意力特征的行人检测单元；其中，融合人体关键点与可见部位注意力特征的行人检测单元由特征提取模块、人体关键点生成模块、带有计算样本质量分数的区域提议网络模块、感兴趣区域池化模块、关键点注意力模块、可见部位注意力模块和检测头模块组成；所述数据采集单元对数据集中的图片及可见部位的标签信息进行采集，其输出端分别连接特征提取模块、人体关键点生成模块及可见部位注意力模块的输入端；所述人体关键点生成模块的输出端连接关键点注意力模块的输入端；所述特征提取模块的输出端与感兴趣区域池化模块的输入端连接；所述带有计算样本质量分数的区域提议网络模块的输入端连接特征提取模块，其输出端与感兴趣区域池化模块的输入端连接；所述关键点注意力模块的输入端与感兴趣区域池化模块的输出端连接，其输出端连接可见部位注意力模块及检测头模块的输入端；所述可见部位注意力模块的输出端连接检测头模块的输入端；所述检测头模块的输出端输出检测结果。

所述特征提取模块是由VGG16网络组成，为常规结构。