[发明专利]一种工作人员疲劳检测方法及装置

权利要求书

1.一种工作人员疲劳检测方法，其特征在于，包括以下步骤：

步骤一、根据不同的应用场景将可见光成像模块和近红外成像模块按左右或上下分布的方式安装在被检测人员的人脸对面，组成双目立体视觉系统；

步骤二、对双目立体视觉系统进行双目标定；

步骤三、可见光成像模块和近红外成像模块同步采集被检测人员的人脸图像，分别得到可见光图像和近红外图像；

步骤四、分别对可见光图像和近红外图像进行人脸检测；

步骤五、根据步骤四所得人脸检测结果，进行活体检测，判断当前图像中的人脸是否为虚假人脸；

步骤六、进行人脸姿态估计和人眼特征点检测；

步骤七、分别对可见光和近红外人脸图像进行疲劳状态识别；

步骤八、根据人脸姿态对可见光图像和近红外图像疲劳状态识别结果进行加权平均，判断疲劳状态，输出工作人员疲劳检测结果。

2.根据权利要求1所述的一种工作人员疲劳检测方法，其特征在于，步骤一中，所述可见光成像模块包括至少一个可见光相机，所述近红外成像模块包括至少一个近红外相机；当被检测人员因工作需要头部左右转动情况居多时，将可见光成像模块和近红外成像模块按左右部署的方式安装在被检测人员的人脸对面，当被检测人员因工作需要头部上下抬低头情况居多时，将可见光成像模块和近红外成像模块按上下部署的方式安装在被检测人员的人脸对面。

3.根据权利要求1所述的一种工作人员疲劳检测方法，其特征在于，步骤五中，活体检测的步骤包括：

步骤5.1、判断步骤四中可见光图像和近红外图像是否都检测到人脸，如果都检测到人脸，则转至步骤5.2，否则，检测结果为虚假人脸，结束该组图像的疲劳检测处理，输出未检出工作人员；

步骤5.2、计算人脸宽度，当人脸宽度满足设定阈值范围内时，转至步骤5.3，否则，检测结果为虚假人脸，结束该组图像的疲劳检测处理，输出未检出工作人员；

步骤5.3、对可见光人脸图像和近红外人脸图像进行人脸活体检测，如果检测结果为活体，则转至步骤六，否则，检测结果为虚假人脸，结束该组图像的疲劳检测处理，输出未检出工作人员。

4.根据权利要求3所述的一种工作人员疲劳检测方法，其特征在于，步骤5.2中，计算人脸宽度的步骤包括：

在可见光图像和近红外图像两幅图像中检测到人脸的区域进行人脸轮廓边缘特征提取，对两幅图像中的人脸轮廓边缘特征进行立体匹配，利用步骤一中的双目立体视觉系统和步骤二中的标定参数计算得到人脸轮廓边缘的三维数据，根据三维数据可计算得到人脸的宽度；

所述三维数据的计算公式为：

/

其中，为人脸轮廓边缘某特征点的可见光成像模块图像坐标，/为人脸轮廓边缘同一特征点的近红外成像模块图像坐标，M1₁为可见光成像模块的内部参数矩阵，M1₂为可见光成像模块的外部参数矩阵，M2₁为近红外成像模块的内部参数矩阵，M2₂为近红外成像模块的外部参数矩阵，/为待求的人脸轮廓边缘上该点的实际三维坐标，采用最小二乘法求解得到。

5.根据权利要求3所述的一种工作人员疲劳检测方法，其特征在于，步骤5.3中，对可见光人脸图像和近红外人脸图像进行人脸活体检测的步骤包括：

根据步骤四所得人脸检测结果，按照人脸框分别从可见光图像和近红外图像中提取可见光人脸子图像和近红外人脸子图像；分别对可见光人脸子图像和近红外人脸子图像进行归一化处理，并输入到训练好的卷积神经网络人脸检测模型中进行活体检测，输出活体检测结果。

6.根据权利要求5所述的一种工作人员疲劳检测方法，其特征在于，所述卷积神经网络人脸检测模型包括两个子网络，其中，第一个子网络为：对归一化可见光人脸子图像进行卷积处理得到可见光人脸特征图、对归一化近红外人脸子图像进行卷积处理得到近红外人脸特征图、将可见光人脸特征图和近红外人脸特征图合并并输出合并特征图；第二个子网络为：对合并特征图进行多层卷积处理，最后采用全连接层或1×1卷积层以分类网络形式输出活体检测的类别，得到最终活体检测结果。