[发明专利]一种多特征维度的人员疲劳状态确认方法及装置

说明书

本发明公开了一种多特征维度的人员疲劳状态确认方法及装置，所述方法包括：通过mtcnn网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；通过efficientdet网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；根据所述眼部信息和所述嘴部信息得到所述工作者的眼部疲劳状态和哈欠状态；根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。采用本发明提供的实施例，基于多视角特征融合提高了视频流疲劳检测模型的鲁棒性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多特征维度的人员疲劳状态确认方法及装置。

背景技术

人体疲劳检测技术在人体健康状况监测等领域有着巨大的应用价值。而基于面部视频的非接触式的疲劳检测既可以避免接触式设备给检测者带来的不适感，也可以保证疲劳检测的准确性。传统的基于面部视频的非接触式的疲劳检测技术一般是采用基于人脸Haar特征的Adaboost算法，Adaboost算法的优点是非常简单、泛化错误率低，可以应用于大部分分类器上，判断疲劳也是一样。但缺点也十分明显，数据的不平衡会导致分类精度下降，并且对离群点敏感也导致Adaboost算法易受噪声干扰。

随着近年来疲劳检测领域的备受关注，疲劳检测在许多场景都得到了应用，例如专利号为201911258187.4的发明专利公开了一种疲劳驾驶检测装置与方法，该方法用摄像头采集驾驶员图像，并输入至主控模块，主控模块对接收数据进行处理，实时得到疲劳特征参数，并读取存储模块中的疲劳检测标准参数，根据二者比较的结果得到疲劳程度，输出对应控制信号到报警模块，控制报警模块发出设定报警信号。

现有技术在使用面部视频数据集对深度神经网络模型进行训练和测试时，训练和测试的场景基本不变，也就是测试者的背景和测试环境的光源基本不变。而在现实应用中，部署好的模型往往要面对来源复杂、场景多样的面部视频，而模型在训练时所使用的数据不可能把以后要面对的所有应用场景都囊括在内，这会导致模型迁移到与训练数据的场景差异较大的应用场景时性能下降，面部疲劳检测试速率大幅下降。再者，现有的基于面部视频进行疲劳判断的技术，往往采用单一的判断维度，而在现实应用中，人的面部疲劳信息往往会有一定的欺骗性，不同的人拥有不同的面部特征，而不同的面部特征对于深度神经网络而言是非常大的干扰。因此，凭借单一的判断维度对疲劳程度进行度量往往是不准确的。

发明内容

本发明实施例提供一种多特征维度的人员疲劳状态确认方法及装置，利用mtcnn多任务级联卷积神经网络进行人脸检测，保证在多场景下测试速率；同时利用使用面部信息相关的数据集进行训练EfficientDet深度网络，获取多维度特征，最后对面部疲劳状态进行准确地判断。

为实现上述目的，本申请实施例的第一方面提供了一种多特征维度的人员疲劳状态确认方法，所述方法包括：

通过mtcnn人脸检测神经网络按帧对视频图像进行人脸检测，对含有人脸的视频帧进行标注，得到人脸关键点；

根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部疲劳状态；

通过efficientdet深度神经网络对所述视频帧进行特征提取，得到所述工作者的眼部信息和嘴部信息；

通过efficientdet深度神经网络检测所述眼部信息和所述嘴部信息，得到所述工作者的眼睛闭合程度和哈欠频率，并分别根据所述眼睛闭合程度和所述哈欠频率得到所述工作者的眼部疲劳状态和哈欠状态；

根据所述头部疲劳状态、所述眼部疲劳状态和所述哈欠状态，确认所述工作者的疲劳状态。

在第一方面的一种可能的实现方式中，所述根据所述人脸关键点进行计算，得到头部欧拉角，并根据所述头部欧拉角的变化确认工作者的头部姿态，具体包括：