[发明专利]基于多任务级联卷积神经网络的头肩检测方法及装置

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多任务级联卷积神经网络的头肩检测方法及装置。

背景技术

随着计算机视觉和图像处理技术的快速发展，头肩检测通常用于人数统计及人形定位，在一定程度上可替代行人检测。目前，传统的头肩检测方法通常采用haar特征加adaboost级联，或者hog特征加svm分类器，但由于这些方法都是通过人工设计的特征提取低层次抽象特征，背景、光照、姿态等干扰很容易影响到头肩检测的效果，进一步导致头肩检测性能的严重降低，检测的精确性不能达到要求。

有鉴于此，有必要对上述头肩检测方法进行进一步的改进。

发明内容

为解决上述至少一技术问题，本发明的主要目的是提供一种基于多任务级联卷积神经网络的头肩检测方法。

为实现上述目的，本发明采用的一个技术方案为：提供一种基于多任务级联卷积神经网络的头肩检测方法，包括如下步骤:

S10、对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，所述目标图像包含有头肩框；

S20、根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；

S30、根据第二级卷积神经网络依次对多个侯选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，以及

S40、输出目标头肩框。

其中，所述步骤S30之后步骤S40之前，还包括步骤S301、根据第三级卷积神经网络依次对多个候选头肩框进行第三次卷积及池化处理，并根据第三次卷积及池化处理的结果筛选出满足预设第三阈值的多个目标头肩框，其中，第三次卷积及池化处理的候选头肩框尺寸归一化为48x48x3。

其中，所述步骤S10，具体包括：

以设定的缩放因子对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像。

其中，所述步骤S20，具体包括：

根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，以得到多个头肩框的位置坐标及对应的分类置信度；

根据分类置信度筛选出大于预设的第一置信度阈值的多个头肩框；以及

采用非极大值抑制方法合并相邻两个重叠率大于50％的一头肩框，形成候选头肩框。

其中，所述步骤S30，具体包括：

根据第二级卷积神经网络依次对多个不同尺寸的目标图像中的候选头肩框进行第二次卷积及池化处理，以得到多个候选头肩框的位置坐标及对应的分类置信度，所述第二次卷积及池化处理的候选头肩框尺寸归一化为24x24x3；

根据第分类置信度筛选出大于预设的第二置信度阈值的多个候选头肩框；以及

采用方法合并相邻两个重叠率大于30％的一候选头肩框，形成目标头肩框。

为实现上述目的，本发明采用的另一个技术方案为：提供一种基于多任务级联卷积神经网络的头肩检测装置，包括：

缩放模块，用于对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像，以及根据多个目标图像建立多尺寸金字塔模型图像，所述目标图像包含有头肩框；

第一级卷积神经网络模块，用于根据第一级卷积神经网络依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，并根据第一次卷积及池化处理的结果筛选出满足预设第一阈值的多个候选头肩框；

第二级卷积神经网络模块，用于根据第二级卷积神经网络依次对多个候选头肩框进行第二次卷积及池化处理，并根据第二次卷积及池化处理的结果筛选出满足预设第二阈值的多个目标头肩框，以及

输出模块，用于输出目标头肩框。

其中，还包括第三级卷积神经网络模块，用于根据第三级卷积神经网络依次对多个候选头肩框进行第三次卷积及池化处理，并根据第三次卷积及池化处理的结果筛选出满足预设第三阈值的多个目标头肩框，其中，第三次卷积及池化处理的候选头肩框尺寸归一化为48x48x3。

其中，所述缩放模块具体用于，

以设定的缩放因子对每帧输入图像依次进行多级缩放处理，得到具有多个不同尺寸的目标图像。

其中，所述第一级卷积神经网络模块，具体用于，

依次对多个不同尺寸的目标图像进行第一次卷积及池化处理，以得到多个头肩框的位置坐标及对应的分类置信度；

根据分类置信度筛选出大于预设的第一置信度阈值的多个头肩框；以及