[发明专利]一种人机共驾的驾驶疲劳检测及预警控制方法及装置

说明书

本发明公开一种人机共驾的驾驶疲劳检测及预警控制方法及装置。该方法包括，根据驾驶室内图像识别获得面部特征和心率值，面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；将驾驶室外路面图像输入YOLOP模型中，获取路面的车道线信息并提取压线行驶时间，基于压线行驶时间获得第二疲劳信息；根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；基于第一、二和三疲劳信息计算疲劳程度，当疲劳程度超过预设预警值时，发出声/光告警并启动专家库系统。本发明消除单一检测方法带来的弊端，提高预警系统的可靠性。

技术领域

本发明涉及安全驾驶技术领域，尤其涉及一种人机共驾的驾驶疲劳检测及预警控制方法及装置。

背景技术

随着经济的飞速发展，国民生活质量的不断提高，汽车逐渐成为寻常百姓家出行的代步工具，在给人们生活带来便利和促进社会进步的同时，也增加了各类交通事故的发生，这其中的交通事故隐患问题不可忽视。据不完全统计，20％的公路交通事故是由驾驶员疲劳驾驶引起的，为了保障驾驶员的出行安全和财产安全，通常会对驾驶员进行疲劳检测并预警。目前驾驶员疲劳检测主要通过以下三种方法实现：基于生理特征的方法、基于驾驶员面部信息特征的方法和基于车辆行为特征的方法。其中，基于生理特征的检测方法，一般是要求驾驶员穿戴相关仪器设备以获得驾驶员的脑电波信号(EEG)、心率等作为参照指标，具有高精度、持续可用等优点，但成本较高；基于驾驶员面部信息特征通过实时检测人脸眼部、嘴部和头部的关键位置判断驾驶员的疲劳状态，这种方法最大的优点是非侵入性、精度高，但其很容易受到遮挡、光线等的影响；基于车辆行为的检测方法持续监测车辆行为参数如车道偏离检测、方向盘转角等动态信息来判断驾驶员的困倦程度，但它过于依赖驾驶员的个人驾驶习惯。

因此，传统的疲劳驾驶预警方式存在信息源单一，疲劳驾驶预警精度较低的问题。

发明内容

为了解决上述技术问题，本发明提出一种人机共驾的驾驶疲劳检测及预警控制方法及装置。在所述方法及装置中，消除单一检测方法带来的弊端，提高预警装置的可靠性，确保驾驶员的安全。

为了达到上述目的，本发明的技术方案如下：

一种人机共驾的驾驶疲劳检测及预警控制方法，包括如下步骤：

实时采集驾驶室内图像、驾驶室外路面图像和方向盘转角信息；

根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；

将驾驶室外路面图像输入训练好的YOLOP模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息；

根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；

构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，当疲劳程度超过预设预警值时，发出声/光告警并启动专家库系统。

优选地，所述获得面部特征，包括如下步骤：

对所述驾驶室内图像进行预处理；

对预处理后的驾驶室内图像进行人脸识别，得到人脸图像；

提取所述人脸图像中特征关键点坐标并输入至预设的多任务分类神经网络中，识别眼睛状态、嘴巴状态和头部俯仰角度。

优选地，所述多任务分类神经网络的损失函数为：