[发明专利]一种基于目标与关键点的疲劳检测方法及系统

说明书

本发明适于安全检测技术改进领域，提供一种基于目标与关键点的疲劳检测方法及系统，包括：S1、对输入视频中的司机采用目标检测进行人脸检测并将人脸框单独取出；S2、利用关键点检测对司机的眼睛及嘴巴的状态进行检测并获取检测结果；S3、根据目标检测和关键点检测的结果对连续视频帧进行分析获得司机当前的驾驶状态。通过对多维度的信息进行分析，有效避免了因司机状态和场景变化引起的误检和漏检。对于司机不同状态，通过在目标检测调整训练数据可以给出准确的检测结果；针对多元化的场景，可以在目标检测阶段排除背景改变所带来地影响，对于某些特殊的复杂的应用场景，可以通过对目标检测训练数据的调整进行有效优化。

技术领域

本发明属于安全检测技术改进领域，尤其涉及一种基于目标与关键点的疲劳检测方法及系统。

背景技术

近几年来，私家车数量逐年攀升，而每年因为疲劳驾驶酿成的悲剧不计其数，造成这一后果的原因则是司机由于长时间驾驶注意力不集中所导致。疲劳驾驶预警系统(DSM)能有效避免这一悲剧。DSM系统能够在驾驶员行驶过程中，全程监测驾驶员的疲劳状态、驾驶行为等。在发现驾驶员出现疲劳、打哈欠、眯眼睛及其他错误驾驶状态后，预警系统将会对此类行为进行及时的分析，并进行语音预警提示。达到警示驾驶员，纠正错误驾驶行为的方式。

现有的DSM系统通常直接采用关键点检测的方法对人脸状态进行实时监测。这种方法有两大弊端：一是难以应对司机的不同状态，一些常见事件会对关键点检测的准确率造成极大影响，如戴口罩、戴眼镜等。二是难以应对多元化的场景，难以针对不同场景进行优化。

发明内容

本发明的目的在于提供一种基于目标与关键点的疲劳检测方法及系统，旨在解决上述的技术问题。

本发明是这样实现的，一种基于目标与关键点的疲劳检测方法，所述基于目标与关键点的疲劳检测方法包括以下步骤：

S1、对输入视频中的司机采用目标检测进行人脸检测并将人脸框单独取出；

S2、利用关键点检测对司机的眼睛及嘴巴的状态进行检测并获取检测结果；

S3、根据目标检测和关键点检测的结果对连续视频帧进行分析获得司机当前的驾驶状态。

本发明的进一步技术方案是：所述步骤S1中在检测人脸时将眼睛和嘴巴一并检出并检出眼睛和嘴巴的开闭状态。

本发明的进一步技术方案是：所述步骤S1还包括以下步骤：

S1、对监控司机视频中抽取单帧图像数据；

S2、对抽取的图像数据中人体、人脸、眼睛、嘴巴、口罩、眼镜及帽子进行数据标注；

S3、按照设定比例设置数据训练集、验证集及测试集并进行训练和测试。

本发明的进一步技术方案是：所述步骤S2中依据面部关键点计算出头部偏转角判断司机是否处于偏头或低头状态。

本发明的进一步技术方案是：所述步骤S2中在人脸检测中在人脸上标注98个关键点，通过98个关键点分别对眼睛、嘴巴及头部的状态进行分析。

本发明的进一步技术方案是：所述关键点检测中人眼的开闭状态通过计算函数进行判断，函数式：设定阈值K_e，当L_e＞K_e时判定眼睛睁开，当L_e≤K_e时判定眼睛闭合，其中，L_eu为上眼睑上的关键点的纵坐标，L_ed为下眼睑上的关键点的纵坐标，H为人脸框的高度。