[发明专利]一种基于双主干网络的吸烟行为检测模型构建方法

说明书

本发明公开了一种基于双主干网络的吸烟行为检测模型构建方法。该模型由五个部分组成：ROI主干网络、空间约束网络、香烟主干网络、香烟颈部网络和香烟检测头组成。通过迁移学习，利用ROI主干网络获取各尺度的吸烟姿态特征；利用空间约束网络，面向将各尺度的吸烟姿态特征图，提取吸烟姿态Mask；利用不同尺度的吸烟姿态Mask对香烟主干网络获取的各尺度香烟特征进行空间滤波；滤波后的香烟特征经过颈部网络和检测头输出香烟目标的坐标与置信度。采用本发明方法，将姿态检测、图像分割和目标检测相融合；通过上下文的空间语义约束，有效减少图像中类似香烟物体的误检率，提高检测准确性。

技术领域

本发明属于深度学习目标检测领域，具体为一种基于双主干网络的吸烟行为检测模型构建方法。

技术背景

香烟目标检测属于小目标检测，在复杂的场景中存在着大量与香烟类似的物体，因此直接检测香烟会造成大量的误检和漏检情况的发生。传统“先人脸、后香烟”分段式的检测方法可以有效地提高检测的准确性，然而分段式检测需要两次调用YOLO模型，计算时间较长，实时性不佳。

发明内容

发明目的：针对上述问题，本发明提出一种基于双主干网络的吸烟行为检测模型构建方法。针对现有方法存在的不足，利用ROI主干网络与FCN空间约束网络产生吸烟姿态Mask；在香烟主干网络的特征提取过程中进行空间滤波，减少类似香烟物体的误检；同时将吸烟姿态检测、图像分割、香烟检测相融合，设计端到端的吸烟检测模型，增强检测准确性。

本发明有效利用机器学习和深度学习方法，优化现有YOLO模型的主干网络结构，使香烟主干网络在输出特征之前，考虑到吸烟姿态与香烟目标的上下文关系，增强吸烟检测的准确性。

技术方案：一种基于双主干网络的吸烟行为检测模型构建方法包括如下步骤：

步骤1)以YOLOv5作为模型，利用吸烟姿态数据集，通过迁移学习获取ROI主干网络的参数。

步骤2)以YOLOv5作为模型，利用香烟数据集，通过迁移学习获取香烟检测模型，包括香烟主干网络、香烟颈部网络和香烟检测头的参数。

步骤3)以全卷积网络FCN作为空间约束网络，将ROI主干网络与香烟主干网络并联，构建双主干网络吸烟行为检测模型。

步骤4)利用构建好的双主干网络吸烟行为检测模型，对待测图像进行吸烟行为检测。

进一步，所述的步骤1)中，收集嘴部正在吸烟的图像，标注、制作“吸烟姿态数据集”；标注框内要求包含人脸与香烟；然后，利用“吸烟姿态数据集”训练YOLOv5模型；将训练好的吸烟姿态YOLOv5模型中的主干网络CSPDarknet保存作为ROI主干网络。

进一步，所述步骤2)中，收集香烟图像，标注、制作“香烟数据集”；然后，利用“香烟数据集”训练YOLOv5模型；训练好的香烟检测YOLOv5模型包括：香烟主干网络、香烟颈部网络和香烟检测头三个部分。

进一步，所述步骤3)中，利用AlexNet构建FCN空间约束网络；利用FCN空间约束网络连接ROI主干网络与香烟主干网络、香烟颈部网络和香烟检测头，构建双主干网络吸烟行为检测模型，具体步骤如下：

步骤3-1：使用AlexNet作为编码器，构建FCN空间约束网络：保持AlexNet五个卷积层、三个池化层不变，将三个全连接层去除，并放置等效的卷积层；采用反卷积对编码器最后一个卷积层输出的特征图进行上采样，使得特征图恢复到输入特征图的分辨率；

步骤3-2：利用ROI主干网络的三个尺度输出特征图作为输入，通过FCN空间约束网络产生不同尺度分割后的吸烟姿态Mask；并将产生的姿态Mask与香烟主干网络相同尺度的香烟特征图相乘，获取优化后的香烟特征，通过空间滤波减少香烟误检的概率，具体计算公式如下：