[发明专利]一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统

说明书

本发明涉及一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统，其方法包括：S1：采集驾驶室的实时图像，利用神经网络得到人脸图像；S2：对人脸图像进行归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；S3：选取部分人脸关键点与3D标准人脸关键点进行匹配，识别点头与未正视前方行为；S4：根据人脸关键点提取眼部区域，检测眼睛的开闭状态，计算眼部疲劳状态；S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；S6：根据S3、S4和S5共同计算驾驶员疲劳值。本发明方法能够识别出丰富的人脸特征信息，分别检测头部、眼部和嘴部的不同行为特征，对多种疲劳行为进行检测，提高了方法的可靠性与实用性。

技术领域

本发明涉及计算机视觉与深度学习领域，具体涉及一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统。

背景技术

随着汽车的广泛普及，驾驶安全问题越来越受到重视。疲劳驾驶是引发交通事故的常见原因之一，但在行车过程中，驾驶员往往无法评估自己的疲劳状态，因而，使用外部设备实时检测驾驶员的疲劳状态，对异常状态进行提醒，能够有效预防交通事故的发生，降低交通安全隐患。

按照数据的测量方式，疲劳驾驶检测方法可分为三大类：基于汽车行驶状态的方法、基于驾驶员生理特征的方法，以及基于计算机视觉的方法。

基于汽车行驶状态的方法利用疲劳驾驶时出现驾驶员反应变慢、控制操作变差等异常驾驶行为，需要测量车速、方向盘操作、车道偏移等多种车辆行驶信息。但汽车行驶信息的测量需要大量的专业设备，成本较高，目前只有一些汽车的高端车型使用，且该方法受车型、驾驶习惯等因素的影响较大，不具有通用性。

基于驾驶员生理特征的方法通过测量驾驶员的脑电、心电和肌电等信号，来判断驾驶员的疲劳状态。由于可直接对生理特征进行测量，该方法可靠性与准确度相对更高，但测量设备需要与驾驶员进行接触，安装方式复杂，可能干扰到驾驶员的正常操作，目前仍停留在实验阶段。

基于计算机视觉的方法设备相对简单，通常使用神经网络提取驾驶员的面部特征，进而识别驾驶员的疲劳状态。但在实际应用中，高精度的深度神经网络参数多、运算慢，无法满足疲劳驾驶检测的实时性要求；另一方面深度神经网络高度依赖训练数据集，针对疲劳驾驶检测的数据集仍较少。

发明内容

为了解决上述技术问题，本发明提供一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统。

本发明技术解决方案为：一种基于深度学习的驾驶员疲劳驾驶实时检测方法，包括：

步骤S1：采集驾驶室的实时图像，利用三级级联神经网络检测人脸位置，并在后续帧中，利用前一帧的人脸位置，使用所述三级级联神经网络中的第三级进行人脸跟踪，得到人脸图像；

步骤S2：对所述人脸图像进行尺寸、均值和方差归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；

步骤S3：选取部分所述人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为；

步骤S4：根据所述人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态；

步骤S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；

步骤S6：根据步骤S3、S4和S5共同计算驾驶员疲劳值，达到阈值后发出警告。

本发明与现有技术相比，具有以下优点：