[发明专利]基于空间几何约束深度学习的疲劳状态识别方法

权利要求书

1.基于空间几何约束深度学习的疲劳状态识别方法，其特征在于该方法包括如下步骤：

步骤(1)对摄像头采集的驾驶员头部图像进行人脸检测，得到人脸区域图像；

步骤(2)建立基于人脸特征点定位和姿态回归任务协同的深度卷积网络模型，相应的目标函数如式(1)，以人脸区域图像数据作为网络输入，将人脸特征点定位和姿态估计两个任务协同优化，同时回归得到人脸特征点坐标和姿态角度值；

其中，任务r代表人脸特征点检测定位任务，任务a表示头部姿态估计；N表示样本的总数；λ∈(0,1)表示头部姿态估计在整个任务中所占的权重；W表示各个任务的待学习权重矩阵；x_i表示两个任务共享的特征表达；表示K个人脸特征点二维坐标构成的向量，表示头部姿态欧拉角，包括平动角(Yaw)、转动角(Pitch)、滚动角(Roll)；f(x_i；W^r)＝(W^r)^Tx_i为一个线性回归函数，f(x_i；W^a)＝(W^a)^Tx_i也是一个线性回归函数；||·||表示l₂范数；

步骤(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练，对应的目标函数如式(2)，提高人脸特征点定位的鲁棒性，加快网络训练的收敛时间；

其中，表示估计的人脸特征点坐标值与实际标签值的损失；S₁,S₂,...,S₆分别表示固定特征数所对应的六点组合，其中S₁为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角，S₂为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角，S₃为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角，S₄为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角，S₅为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角，S₆为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角；表示第i个样本第j个组合的固定特征数；是从第i个样本第j个组合中计算出的实际特征数；η∈(0,1)表示约束项的权重；

步骤(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征，然后采用粗糙集方法对特征信息进行融合决策，以评估驾驶员疲劳状态。