[发明专利]一种基于目标与关键点的疲劳检测方法及系统

权利要求书

1.一种基于目标与关键点的疲劳检测方法，其特征在于，所述基于目标与关键点的疲劳检测方法包括以下步骤：

S1、对输入视频中的司机采用目标检测进行人脸检测并将人脸框单独取出；

S2、利用关键点检测对司机的眼睛及嘴巴的状态进行检测并获取检测结果；

S3、根据目标检测和关键点检测的结果对连续视频帧进行分析获得司机当前的驾驶状态。

2.根据权利要求1所述的基于目标与关键点的疲劳检测方法，其特征在于，所述步骤S1中在检测人脸时将眼睛和嘴巴一并检出并检出眼睛和嘴巴的开闭状态。

3.根据权利要求2所述的基于目标与关键点的疲劳检测方法，其特征在于，所述步骤S1还包括以下步骤：

S1、对监控司机视频中抽取单帧图像数据；

S2、对抽取的图像数据中人体、人脸、眼睛、嘴巴、口罩、眼镜及帽子进行数据标注；

S3、按照设定比例设置数据训练集、验证集及测试集并进行训练和测试。

4.根据权利要求3所述的基于目标与关键点的疲劳检测方法，其特征在于，所述步骤S2中在人脸检测中在人脸上标注98个关键点，通过98个关键点分别对眼睛、嘴巴及头部的状态进行分析。

5.根据权利要求4所述的基于目标与关键点的疲劳检测方法，其特征在于，所述关键点检测中人眼的开闭状态通过计算函数进行判断，函数式：设定阈值K_e，当L_e＞K_e时判定眼睛睁开，当L_e≤K_e时判定眼睛闭合，其中，L_eu为上眼睑上的关键点的纵坐标，L_ed为下眼睑上的关键点的纵坐标，H为人脸框的高度。

6.根据权利要求5所述的基于目标与关键点的疲劳检测方法，其特征在于，所述关键点检测中对嘴巴开闭状态利用计算式进行判断，计算式：设定阈值K_m，当L_m＞K_m时判定司机嘴巴张开，当L_m≤K_m时判定司机嘴巴闭合，其中，L_mu为上嘴唇上的关键点的纵坐标，L_md为下嘴唇上的关键点的纵坐标。

7.根据权利要求6所述的基于目标与关键点的疲劳检测方法，其特征在于，所述关键点检测中对头部偏转分析包括以下步骤：

S21、采用OpenCV中的开源函数solvePnP对关键点解出旋转向量r＝[r_x r_y r_z]^T，旋转角度为θ；

S22、通过计算式计算出旋转矩阵R，计算式：通过旋转矩阵获取三个方向的偏转角度，分别为俯仰角pitch、偏航角yaw、翻滚角roll。

8.根据权利要求7所述的基于目标与关键点的疲劳检测方法，其特征在于，所述驾驶状态包括非驾驶状态、未正常入镜状态、正常驾驶状态、长时间闭眼状态、频繁眨眼状态、打哈欠状态、长时间低头状态及长时间偏头状态的多个状态。