[发明专利]一种基于图神经网络的抽烟识别方法

说明书

本发明公开了一种基于图神经网络的抽烟识别方法，构建了一种可以自动识别正在抽烟的人的深度学习框架，通过监控摄像头获取人体框图，通过卷积神经网络获取人体动作关键点特征以及香烟附属物特征。通过图神经网络对这两种特征进行建模和解析。对比普通的目标检测算法，本发明能够在减少因只检测到香烟而产生的误报，和由于遮挡香烟产生的漏报；且相对于属性分类算法，在新场景下拥有更强的鲁棒性和泛化能力。

技术领域

本发明属于图神经网络深度学习技术领域，涉及一种基于图神经网络的抽烟识别方法。

背景技术

抽烟不仅有害身体健康，且一直是室内火灾的主要原因。随着深度学习的发展，出现了以深度学习技术为基础的自动抽烟识别算法。近年来一些有代表性的工作有：

1.CN201910082457.4基于深度学习的抽烟检测分析系统。该发明以视频流为输入，通过多尺度卷积融合机制对画面中的香烟、车牌、车窗等物体进行目标检测。但是应用场景单一，仅适用于卡口等监控场景检测是否有驾驶员抽烟行为。没有考虑到动作特征以及存在遮挡目标的情况。

2.CN202111511659.X一种安全帽佩戴与抽烟检测的安全监控方法。该发明以图片为输入，在电力厂房场景下，通过OpenPose算法获取人体关键点特征，通过yolov5获取附属物特征。虽然使用了人体关键点信息，但对于关键点的特征处理过于简单、仅停留在空间关系的先验处理上，例如若手部附近有香烟就将其判断为抽烟，但没用考虑到抽烟整体动作。在实际使用中还需要合理设置阈值等超参数，应用较为繁琐、泛化性不强。且采用了两种特征提取算法，每次都需要单独训练，也造成了硬件资源的浪费。

3.CN202110795174.1一种基于多模型的驾驶员抽烟检测方法。该发明将驾驶员抽烟检测区域图像输入至抽烟手势识别模型和香烟区域识别模型。获取抽烟手势识别的概率图和香烟识别的概率图；对抽烟手势识别的概率图和香烟识别的概率图的结果进行分析，当同时识别到抽烟手势以及香烟时，则检测出驾驶员在抽烟。通过实例分割模型获取香烟特征，但本方法的应用场景过于理想，对于手势、香烟这种过于小和精细的目标，在实际场景中存在遮挡、模糊、光照不足的情况下效果会很不理想。采用实例分割也使得该发明的样本数据标注成本过高，如果有新场景新需求的加入，会消耗大量标注时间和人力成本。且采用了多模型的方案，无法实现端到端训练和测试。

为了解决上述问题，本发明采用了图神经网络这一结构，对获取的关键点特征和香烟附属物特征进行更深层的建模和学习，使得算法能够学习到更为本质的抽烟特征，极大减少了误报和漏报，在新场景下也可以迅速投入使用且保障了算法精度。且本发明所采用的特征提取模型共有同一个算法骨架，这一设置减少了模型参数量、提升了算法运行速度，且能够实现端到端训练和检测。

发明内容

为实现更有效的抽烟识别，本发明提供一种基于图神经网络的抽烟识别方法，该方法中采用了统一的特征提取网络，并采用图神经网络这一结构以学习更本质的抽烟特征。

本发明采用技术方案如下：

一种基于图神经网络的抽烟识别方法，包括：

S1.建立数据集：在需要设置该算法的场所设置监控摄像头，以监控摄像头的画面为输入，每隔若干帧抽取一张图片，标注人体关键点和香烟框图。若画面中有人正在抽烟，将图片标注为“抽烟”，下文称之为“正样本”，若无人抽烟画面中则标注为“无抽烟”，下文称之为“负样本”。

S2.利用上述数据集在基于图神经网络的抽烟识别模型中进行训练

所述的抽烟识别模型包含骨架网络、目标检测子网络、关键点特征提取网络、图卷积神经网络。

所述骨架网络选用ResNet50，接受输入图片I，第3,4,5个卷积层的特征图C₃,C₄,C₅,作为骨架网络的输出；