[发明专利]一种基于图神经网络的抽烟识别方法

权利要求书

1.一种基于图神经网络的抽烟识别方法，其特征在于，包括如下：

S1.建立数据集：对监控图片标注人体关键点和香烟框图，若画面中有人正在抽烟，将图片标注为“抽烟”，为正样本，若无人抽烟画面中则标注为“无抽烟”，为负样本；

S2.利用上述数据集在基于图神经网络的抽烟识别模型中进行训练；

所述的抽烟识别模型包含骨架网络、目标检测子网络、关键点特征提取网络、图卷积神经网络；

所述骨架网络选用ResNet50，接受输入图片I，第3,4,5个卷积层的特征图C₃,C₄,C₅作为骨架网络的输出；

所述目标检测子网络选用RetinaNet网络，包含FPN模块、检测框图子网络和检测分类子网络；FPN模块接受C₃,C₄,C₅为输入，检测框图子网络和检测分类子网络以FPN的输出为输入，分别输出图片第i个香烟附属物的框图B_i和可见值v；若检测到香烟，置v为1，反之为0；

所述关键点特征提取网络选用KeyPointRCNN，与目标检测子网络共用骨架网络，输出为N*3的矩阵，包含人体的N个关键点的信息以及各个关键点的x,y,v；x,y代表坐标，v代表可见与否，若可见，置v为1，反之为0；

将获取到的香烟附属物的框图B_i，计算得到其中心点，与关键点特征提取网络的输出合并为(N+1)*3的矩阵A，同时添加一个1维的向量标志物token表明图中人是否有在抽烟，最后成为(N+2)*3的矩阵B；

所述图卷积神经网络以B为输入，输出为标志物token，若为0向量则表明无抽烟，若为1向量则表明有人抽烟。

2.根据权利要求1所述的基于图神经网络的抽烟识别方法，其特征在于，所述的人体关键点的设置为0:鼻子、1:左眼、2:右眼、3:左耳、4:右耳、5:左肩、6:右肩、7:左肘、8:右肘、9:左腕、10:右腕、11:左胯、12:右胯、13:左膝、14:右膝、15:左踝、16:右踝。

3.根据权利要求1所述的基于图神经网络的抽烟识别方法，其特征在于，所述抽烟识别模型的输入I均统一到相同大小，并进行数据增强和归一化处理。

4.根据权利要求1所述的基于图神经网络的抽烟识别方法，其特征在于，选用ImageNet预训练模型作为初始模型，并采用公开数据集coco关键点数据集进行预训练。

5.根据权利要求1所述的基于图神经网络的抽烟识别方法，其特征在于，构建数据集时的标注也为矩阵B的(N+2)*3格式，用于训练图卷积神经网络，在进行预训练之后，也可以采用网络对负样本实现自动标注，以节约标注成本和时间。