[发明专利]一种基于视觉的驾驶行为检测方法

权利要求书

1.一种基于视觉的驾驶行为检测方法，其特征在于，包括：

采集驾驶室图像，提取人脸信息，利用深度卷积神经网络进行人脸检测与身份验证，输出人脸关键点位置和人脸特征图谱；

基于输出的人脸关键点位置和人脸特征图谱，进行疲劳驾驶应用检测和分神驾驶应用检测；

基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，预警驾驶疲劳行为和驾驶分神行为，判断并显示驾驶疲劳等级和驾驶专注等级；

所述基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，包括：

瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度C1和半分钟平均眼部开度，根据瞌睡行为检测输出的眼部睁闭状态S1计算瞌睡行为置信度C1：C1_t+1＝max(0,C1_t+(S1-1)*K1+S1*K2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：其中，t_s为相机采样周期，K1,K2为预警阈值参数，基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值T1和半分钟平均眼部开度阈值T1’，若C1大于T1或λ0.5小于T1’，则告警驾驶员；

哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度C2，根据哈欠行为检测输出的哈欠状态S2计算瞌睡行为置信度C2：C2_t+1＝max(0,C2_t+(S2-1)*K1′+S2*K2′)，其中，K1’,K2’预警阈值参数，设定相应的哈欠置信度预警阈值T2，若C2大于T2，则告警驾驶员；

低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5，根据低头行为检测所得的头部俯仰角φ，计算半分钟平均头部俯仰角φ0.5：其中，t_s为相机采样周期，基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值T2’，若φ0.5大于T2’，则告警驾驶员；

吸烟预警提示：根据所述吸烟行为检测输出的吸烟状态S3计算吸烟行为置信度C3：C3_t+1＝max(0,C3_t+(S3-1)*K3+S3*K4)，其中，K3，K4为预警阈值参数；

接打电话预警提示：根据所述接打电话行为检测输出的接打电话状态S4计算吸烟行为置信度C4：C4_t+1＝max(0,C4_t+(S4-1)*K3′+S4*K4′)，其中，K3’，K4’为预警阈值参数；

所述深度卷积神经网络级联人脸检测网络、疲劳检测网络以及分神检测网络，输入为驾驶室远红外图像，输出为疲劳驾驶行为、分神危险驾驶行为检测结果；所述疲劳检测网络包括：瞌睡检测网络和哈欠行为识别网络；所述分神检测网络包括接打电话行为检测网络和吸烟行为检测网络；

所述疲劳驾驶应用检测包括：瞌睡、哈欠行为、低头行为检测，所述分神驾驶应用检测包括：接打电话和吸烟行为检测；

瞌睡行为检测：对人脸特征图谱进行眼部ROI-pooling，利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点回归，经公式将关键点位置转换为眼部睁闭开度λ，输出当前时刻眼部睁闭状态S1以及眼部睁闭开度λ；

哈欠行为检测：对人脸特征图谱进行嘴部ROI-pooling，利用哈欠行为识别网络进行嘴部开闭状态识别，输出哈欠状态S2；

低头行为检测：利用人脸检测网络输出的人脸关键点位置信息，根据预先设置的3D人脸模型，结合采集驾驶室图像的相机内参，通过奇异值分解得到平移向量T和旋转矩阵R，旋转矩阵R分解可得头部俯仰角φ；

接打电话行为检测：基于人脸检测网络眼部特征点高度及人脸左右边界位置输出，对人脸特征图谱进行耳部ROI-pooling，利用接打电话行为检测网络进行接打电话行为检测，输出接打电话状态S4；

吸烟行为检测：基于人脸检测网络嘴部特征点位置输出，对人脸特征图谱进行嘴部ROI-pooling，利用吸烟行为检测网络进行吸烟状态识别，输出吸烟状态S3。

2.根据权利要求1所述的一种基于视觉的驾驶行为检测方法，其特征在于，所述采集驾驶室图像，提取人脸信息，进行人脸检测与身份验证，包括：将采集的驾驶室图像输入人脸检测网络，输出人脸关键点位置和人脸特征图谱，将所述人脸特征图谱与录入的人脸信息特征图谱库标准对齐后，与录入人脸库的人脸图像进行特征相似度匹配，进行身份验证。