[发明专利]一种人机共驾的驾驶疲劳检测及预警控制方法及装置

权利要求书

1.一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，包括如下步骤：

实时采集驾驶室内图像、驾驶室外路面图像和方向盘转角信息；

根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；

将驾驶室外路面图像输入训练好的YOLOP模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息；

根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；

构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，当疲劳程度超过预设预警值时，发出声/光告警并启动专家库系统。

2.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述获得面部特征，包括如下步骤：

对所述驾驶室内图像进行预处理；

对预处理后的驾驶室内图像进行人脸识别，得到人脸图像；

提取所述人脸图像中特征关键点坐标并输入至预设的多任务分类神经网络中，识别眼睛状态、嘴巴状态和头部俯仰角度。

3.根据权利要求2所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述多任务分类神经网络的损失函数为：

F_{loss_face_total}＝F_{loss_leye}+F_{loss_mouse}+F_{loss_angle}

式中分别表示眼睛、嘴巴和头部俯仰角的真值，分别表示眼睛、嘴巴和头部俯仰角的网络预测值，c₁＝c₂＝c₃表示L2正则化。

4.根据权利要求2所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述获得心率值，包括如下步骤：

基于所述特征关键点坐标提取前额区域；

计算所述前额区域中G通道的均值并对所述G通道的均值信号进行盲源分离，得到分离后的G通道源信号；

对所述分离后的G通道源信号进行快速傅里叶变换，得到心率值。

5.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述时序神经网络的损失函数为：

式中L_{face_+}表示正样本的损失；L_{face_}-表示负样本的损失，p表示时序网络输出的概率值，∈+表示正样本权重参数，∈-表示负样本权重参数；γ₁,γ₂,γ₃分别表示眼睛、嘴巴、俯仰角的损失权重。

6.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述将驾驶室外路面图像输入训练好的YOLOP模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息，包括如下步骤：

对所述驾驶室外路面图像进行预处理；

将预处理后的驾驶室外路面图像输入到训练好的YOLOP模型中检测出路面的车道线信息；

记录检测过程中车辆打开转向灯且压线行驶的时间，基于压线行驶的时间与预设行驶阈值的关系，确定第二疲劳信息。

7.根据权利要求6所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述驾驶室外路面图像的预处理包括图像去噪、图像去雾、图像去雨、图像去模糊、图像颜色增强、图像亮度增强或图像细节增强中的一项或多项组合。