[发明专利]基于空间几何约束深度学习的疲劳状态识别方法

摘要

本发明涉及一种空间几何约束深度学习的疲劳状态识别方法。目前基于机器视觉的疲劳检测方法使用HOG、SHIT、Haar等人为定制的特征进行模式识别，在光照条件变化、部分遮挡、振动变化下检测精度有所下降。本发明建立建立基于人脸特征点定位和姿态回归任务协同的深度卷积神经网络模型，协同回归出人脸特征点定位和头部姿态估计，然后利用空间几何约束方法对卷积神经网络进行预训练，最后采用多特征融合的决策方法评估疲劳状态，检测结果具有良好的准确性和可靠性。这种使用非接触式的图像处理方法，仅仅需要常规摄像头对信号采集，设备简单，具有很好的实用性。

主权项

基于空间几何约束深度学习的疲劳状态识别方法，其特征在于该方法包括如下步骤：步骤(1)对摄像头采集的驾驶员头部图像进行人脸检测，得到人脸区域图像；步骤(2)建立基于人脸特征点定位和姿态回归任务协同的深度卷积网络模型，相应的目标函数如式(1)，以人脸区域图像数据作为网络输入，将人脸特征点定位和姿态估计两个任务协同优化，同时回归得到人脸特征点坐标和姿态角度值；argminWr,Wa12Σi=1N||yir,f(xi;Wr)||2+λ12Σi=1N||yia,f(xi;Wa)||2---(1)]]>其中，任务r代表人脸特征点检测定位任务，任务a表示头部姿态估计；N表示样本的总数；λ∈(0,1)表示头部姿态估计在整个任务中所占的权重；W表示各个任务的待学习权重矩阵；xi表示两个任务共享的特征表达；表示K个人脸特征点二维坐标构成的向量，表示头部姿态欧拉角，包括平动角(Yaw)、转动角(Pitch)、滚动角(Roll)；f(xi；Wr)＝(Wr)Txi为一个线性回归函数，f(xi；Wa)＝(Wa)Txi也是一个线性回归函数；||·||表示l2范数；步骤(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练，对应的目标函数如式(2)，提高人脸特征点定位的鲁棒性，加快网络训练的收敛时间；argminW12Σi=1N||yi,f(xi;W)||2+η16Σi=1NΣj=16||Cji(Sj)-κji(Sj)||2---(2)]]>其中，表示估计的人脸特征点坐标值与实际标签值的损失；S1,S2,...,S6分别表示固定特征数所对应的六点组合，其中S1为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角，S2为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角，S3为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角，S4为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角，S5为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角，S6为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角；表示第i个样本第j个组合的固定特征数；是从第i个样本第j个组合中计算出的实际特征数；η∈(0,1)表示约束项的权重；步骤(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征，然后采用粗糙集方法对特征信息进行融合决策，以评估驾驶员疲劳状态。