[发明专利]一种睡岗行为检测方法、装置及其电子设备

权利要求书

1.一种睡岗行为检测方法，其特征在于，包括以下步骤：

获取连续帧视频图像，其中所述视频图像包括待识别人员；

基于人员检测模型获取每一所述视频图像中的第一人员位置框，对每一所述第一人员位置框进行比例放大后得到第二人员位置框，基于每一所述第二人员位置框从对应的所述视频图像中获取人员区域图像；

将连续帧的所述人员区域图像输入到睡岗行为识别模型中进行检测，若输出睡岗检测框，判断存在睡岗行为，若存在所述睡岗行为，基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息，其中所述睡岗行为识别模型将残差网络中的残差模块的一个卷积层替换为行为模块，并经由人员睡岗数据集训练得到；

其中连续帧的所述人员区域图像输入所述行为模块，对每一所述人员区域图像进入对应的卷积层内进行卷积操作，得到对应的视频图像特征；除最后一帧以外所有帧的所述人员区域图像对应的视频图像特征后接Sigmod层，将当前帧的视频图像特征经过所述Sigmod层的Sigmod激活函数后与下一帧的视频图像特征经过卷积操作后进行相加，得到相邻相加视频图像特征；第一帧的所述人员区域图像对应的视频图像特征，以及所有所述相邻相加视频图像特征合并进行Concat操作后，再依次进行空间池化以及卷积处理；

基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息。

2.根据权利要求1所述的睡岗行为检测方法，其特征在于，在“基于睡岗行为识别模型识别连续帧的所述人员区域图像”之前，包括步骤：

基于人脸检测模型检测连续帧的所述人员区域图像，若检测到人脸，将对应的人脸图像信息和所述第一人员位置框的位置信息存储在所述人脸检测库内；若未检测到人脸，依据对应的所述第一人员位置框的位置信息在所述人脸检测库中获取对应的人脸图像信息。

3.根据权利要求2所述的睡岗行为检测方法，其特征在于，所述人脸检测模型输出每一所述人员区域图像中的人脸位置信息，基于所述人脸位置信息从对应的所述视频图像中获取对应的所述人脸图像信息。

4.根据权利要求2所述的睡岗行为检测方法，其特征在于，在“若未检测到人脸，依据对应的所述第一人员位置框的位置信息在所述人脸检测库中获取对应的人脸图像信息”包括：获取该人员区域图像对应的所述第一人员位置框的位置信息，获取所述人脸检测库中已记录的待确认人员位置框，比对所述待确认人员位置框和所述第一人员位置框的交并比，选择交并比最大的所述待确认人员位置框对应的人脸图像信息。

5.根据权利要求1所述的睡岗行为检测方法，其特征在于，对所述第一人员位置框的宽度按照第一比例放大，对所述第一人员位置框的高度按照第二比例放大。