[发明专利]抽烟及使用手机行为检测装置及方法

权利要求书

1.抽烟及使用手机行为检测装置，包括：

摄像头用于获得工作现场的人体图像；

网络用于传输图像到远端服务器；

人体姿态检测器基于预训练好的yolov3-SPP算法识别出人体图像，并将人体图像送进训练好的关键点检测网络进行处理；

分类器根据关键点检测网络将图像根据手部和头部距离进行分类，识别出抽烟或使用手机的图像。

2.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的人体姿态检测器将检测到的图像尺寸改变为256*192像素。

3.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的关键点检测模型是基于MSCOCO2017关键点数据训练好的网络。

4.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的关键点检测网络是主干网ResNet50。

5.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的分类器是基于中轻量级模型ResNest50。

6.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的分类器是基于中轻量级模型EfficientNetB4。

7.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的分类器将数据切分为三个类别：1.正常类2.吸烟3.使用手机；上述三种场景的数据占比分别约0.6，0.2，0.2。

8.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的分类器的正常类、吸烟和使用手机三个类别的数据皆为头部或者手部数据，原图分辨率不低于60*60像素。

9.如权利要求1所述的抽烟及使用手机行为检测装置，其特征在于所述的分类器可以是检测器，不仅能分类出图像中目标为香烟或者手机，同时还能将位置找到。

10.抽烟及使用手机行为检测方法，其特征在于包括以下步骤：

摄像头采集到的图像A首先以数字图像格式进入人体姿态检测器，先经由人体姿态检测器进行检测，得到人在图像上的坐标信息，依照坐标信息将图像裁剪出来用图像B表示；

图像B接着进入关键点检测模型检测，关键点检测模型基于MSCOCO数据选取头部、右手、左手三个部位的关键点；

计算三个部位关键点彼此的距离来判别是否正在进行违规行为，逻辑为手部距离头部较近表示可能为抽烟或者使用手机，而双手距离较近表示也有可能在玩手机，因此可以计算三个距离：

RH：右手到头部距离

LH：左手到头部距离

RL：双手之间的距离

将上述RH，LH，RL透过阈值筛选出距离较短的视为潜在可能违规行为的目标，然后裁剪头部或者手部的区域图像送入分类器进行判别；

裁剪出的图像，送入预先训练好的分类器进行识别，即可判别出抽烟或使用手机的图像。

11.如权利要求10所述的抽烟及使用手机行为检测方法，其特征在于所述的人体姿态检测器基于预训练好的yolov3-SPP算法将检测到的人图像尺寸改变为256*192像素。

12.如权利要求10所述的抽烟及使用手机行为检测方法，其特征在于所述的关键点检测模型是基于MSCOCO2017关键点数据训练好的网络。

13.如权利要求10所述的抽烟及使用手机行为检测装置，其特征在于所述的关键点检测模型是主干网ResNet50。

14.如权利要求10所述的抽烟及使用手机行为检测方法，其特征在于所述的分类器是基于中轻量级模型ResNest50。