[发明专利]一种多尺度遮挡行人检测方法及系统

权利要求书

1.一种多尺度遮挡行人检测方法，其特征在于，所述方法包括：

S1：将待检测图像分别输入行人全身检测模型和行人头部检测模型，得到全身检测结果集和头部检测结果集；其中，所述行人全身检测模型和行人头部检测模型均基于训练好的CSP模型建立；

S2：选取B中置信度得分最高的框b_k，从B中删除并直接放入D；

其中，B为由行人全身检测模型得到的全身检测结果集合，D为最终行人检测结果集合，D＝{}，D初始为空集；

S3：从B里剩下的全身检测框中，选取所有与b_k之间IoU值大于可信阈值的全身检测框组成待定检测结果集合B`，并将B`中的元素从B中删除；

S4：依次判断B`中的各元素是否有头部框对应，若有，则将其放回到B中，否则将其彻底从B`中删除；

S5：循环S2到S4，直到B为空集，最后得到的D即为最终行人检测结果；

所述CSP模型包括特征提取模块、中心点预测模块、尺度预测模块、中心点偏置预测模块及检测框生成与后处理模块；所述特征提取模块使用特征提取网络提取输入图片的特征图，该特征图被共享用于中心点预测模块、尺度预测模块、中心点偏置预测模块；中心点预测模块以行人标注中心点生成的高斯分布图作为目标，对特征图上各点进行逐像素地打分，以获取行人检测框的中心点坐标；尺度预测模块以行人标注中心点和高度生成的掩膜图像作为目标，对特征图进行卷积回归操作，得到的预测图像中，每一像素点处的像素值均为该点可能存在目标的高度对数预测值；中心点偏置预测模块以原图中某点坐标和按比例放缩后该点映射坐标之间的差异为预测目标，使用该模块得到的预测图像中各点像素值，对中心点预测模块得到的预测中心点坐标进行微调；检测框生成与后处理模块根据中心点预测模块、尺度预测模块和中心点偏置预测模块的输出，由几何计算得到原图中行人预测候选框的中心点坐标和宽高，进而得到该候选框的坐标；对这些候选框进行非极大值抑制操作，筛除冗余框，得到检测结果集。

2.如权利要求1所述的多尺度遮挡行人检测方法，其特征在于，所述判断B`中的各元素是否有头部框对应，具体为：

将头部检测结果按照预设比例转化为虚拟全身检测结果，计算待定检测结果与未被匹配的各虚拟全身检测结果的IoU值，若各IoU值中的最大值大于匹配IoU阈值，且所述待定检测结果与所述最大值对应的虚拟全身检测结果的宽值间距与高值间距之和小于匹配间距阈值，则所述待定检测结果有匹配的头部检测框。

3.如权利要求1所述的多尺度遮挡行人检测方法，其特征在于，所述行人全身检测模型和行人头部检测模型分别对所述待检测图像进行特征提取，得到所述待检测图像的特征图，基于所述待检测图像的特征图，获取全身检测框和头部检测框的中心点、高度和中心点偏置量；对所述全身检测框和头部检测框的中心点、高度和中心点偏置量进行几何变换得到全身检测候选框和头部检测候选框，并对所述全身检测候选框和头部检测候选框进行NMS后处理，得到全身检测结果和头部检测结果。

4.如权利要求3所述的多尺度遮挡行人检测方法，其特征在于，所述行人全身检测模型和行人头部检测模型分别对所述待检测图像进行特征提取，得到n张分辨率不同的特征图，并将所述n张分辨率不同的特征图进行通道连接，得到所述待检测图像的特征图；其中，n为大于0的整数。

5.如权利要求4所述的多尺度遮挡行人检测方法，其特征在于，所述行人全身检测模型和行人头部检测模型分别对所述待检测图像进行特征提取，得到所述待检测图像的特征图之后，还包括：

将所述待检测图像的特征图F进行降维得到矩阵M，将矩阵M与转置矩阵M`相乘，并进行softmax变换得到方阵N，将所述方阵N与矩阵M相乘，并进行维度还原得到张量F`，将F`与F进行逐通道逐元素相加，得到张量E。

6.如权利要求3所述的多尺度遮挡行人检测方法，其特征在于，对所述全身检测候选框进行NMS后处理时所采用的IoU阈值大于对所述头部检测候选框进行NMS后处理时所采用的IoU阈值，且大于所述可信阈值。