[发明专利]一种多特征维度的人员疲劳状态确认方法及装置

权利要求书

1.一种多特征维度的人员疲劳状态确认方法，其特征在于，包括：

通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；

根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；

通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；

通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；

根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。

2.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部姿态，具体包括：

将所述人脸关键点输入位姿估计库进行估计，得到头部旋转向量；

对所述头部旋转向量进行转换，得到头部旋转矩阵；

对所述头部旋转矩阵进行计算，得到含有偏航角和滚转角的头部欧拉角；

分别根据所述偏航角的变化范围和所述滚转角的变化范围，得到工作者的点头信息和摇头信息；

根据所述点头信息和所述摇头信息确认所述工作者的头部疲劳状态。

3.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述工作者的眼部疲劳状态的具体获得方式为：

对所述眼部信息按时间顺序进行标记，得到眼部状态信息；

通过efficientdet深度神经网络检测所述眼部状态信息，生成眨眼信息；

根据所述眨眼信息计算所述工作者单位时间内的眼睛闭合程度；

若眼睛闭合程度大于或等于预设闭合阈值，所述工作者眼部处于疲劳状态；若眼睛闭合程度小于预设闭合阈值，所述工作者眼部处于正常状态。

4.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述工作者的哈欠状态的具体获得方式为：

对所述眼部信息按时间顺序进行标记，得到嘴部状态信息；

通过efficientdet深度神经网络检测所述嘴部状态信息，生成张嘴信息；

根据所述张嘴信息计算所述工作者的哈欠频率；

若所述工作者的哈欠频率大于哈欠阈值，所述工作者嘴部处于哈欠状态；若所述工作者的哈欠频率小于或等于哈欠阈值，所述工作者嘴部处于正常状态。

5.如权利要求1所述的多特征维度的人员疲劳状态确认方法，其特征在于，所述根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态，具体包括：

若头部处于疲劳状态或者眼部处于疲劳状态或者嘴部处于疲劳状态，确认所述工作者处于疲劳状态并对所述工作者发出警报。

6.一种多特征维度的人员疲劳状态确认装置，其特征在于，包括：

人脸检测模块，用于通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；

头部检测模块，用于根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；

特征提取模块，用于通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；

眼嘴检测模块，用于通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；

疲劳确认模块，用于根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。