[发明专利]一种基于视觉的驾驶行为检测方法

说明书

一种基于视觉的驾驶行为检测方法，包括：采集驾驶室图像，提取人脸信息，利用深度卷积神经网络进行人脸检测与身份验证，输出人脸关键点位置和人脸特征图谱；基于输出的人脸关键点位置和人脸特征图谱，进行疲劳驾驶应用检测和分神驾驶应用检测；基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，预警驾驶疲劳行为和驾驶分神行为，判断并显示驾驶疲劳等级和驾驶专注等级。本发明的一个目的在于完善驾驶员行为监测系统，对驾驶过程中的疲劳驾驶行为（包括瞌睡、哈欠、低头）和分神驾驶行为（包括接打电话、吸烟）进行智能分析，并进行行为提示。

技术领域

本发明涉及安全驾驶技术领域，特别涉及一种基于视觉的驾驶行为检测方法。

背景技术

中国每年发生交通事故50万起，因交通事故死亡人数均超过10万人。据道路交通事故数据统计，有超过半数的交通事故是由驾驶员的危险或错误车辆操作所导致的。然而，此类人为事故中大部分是由于疲劳驾驶所引发的，因而驾驶行为智能分析预警系统具有重要的应用价值。现有乘用车以及商用车的主动安全系统很少有涉及驾驶员行为分析与提醒的功能，尤其是对于商业运输车辆而言，长时间以及长途驾驶导致上述疲劳驾驶的发生概率更高。现有大部分商用营运车辆不具备功能完善的驾驶员行为监测系统，此类系统大多通过限定驾驶员的长途行车时间来避免疲劳驾驶的行为发生，部分车辆具备行车记录以及操作记录功能，不具备疲劳或危险驾驶行为预警系统，因而无法有效保障长途驾驶的行车安全。

近年来市场中出现的部分驾驶疲劳预警系统，或通过驾驶操纵信号(方向盘转角以及油门、制动踏板信号)，或通过驾驶员眼部开闭程度进行疲劳驾驶行为判断。此类系统所能预警的疲劳行为比较单一，且对于不同驾驶员的预警一致性相对较差。相对于上述系统，本发明集成包括疲劳与分神在内的不良驾驶行为检测与预警功能，不仅丰富了疲劳驾驶的检测状态类别，而且添加了分神驾驶状态的检测，能够有效提升商业运营车辆驾驶员不良驾驶行为的监管能力，同时降低此类行为所造成的潜在生命与财产损失。

发明内容

本发明的一个目的在于完善驾驶员行为监测系统，对驾驶过程中的疲劳驾驶行为(包括瞌睡、哈欠、低头)和分神驾驶行为(包括接打电话、吸烟)进行智能分析，并进行行为提示，提供一种基于视觉的驾驶行为检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于视觉的驾驶行为检测方法，包括：采集驾驶室图像，提取人脸信息，利用深度卷积神经网络进行人脸检测与身份验证，输出人脸关键点位置和人脸特征图谱；基于输出的人脸关键点位置和人脸特征图谱，进行疲劳驾驶应用检测和分神驾驶应用检测；基于疲劳驾驶和分神驾驶应用检测结果，判断驾驶员疲劳状态和分神状态，发出疲劳预警和分神预警信号，预警驾驶疲劳行为和驾驶分神行为，判断并显示驾驶疲劳等级和驾驶专注等级。

进一步地，所述深度卷积神经网络级联人脸检测网络、疲劳检测网络以及分神检测网络，输入为驾驶室远红外图像，输出为疲劳驾驶行为、分神危险驾驶行为检测结果；所述疲劳检测网络包括：瞌睡检测网络和哈欠行为识别网络；所述分神检测网络包括接打电话行为检测网络和吸烟行为检测网络。

进一步地，所述采集驾驶室图像，提取人脸信息，进行人脸检测与身份验证，包括：将采集的驾驶室图像输入人脸检测网络，输出人脸关键点位置和人脸特征图谱，将所述人脸特征图谱与录入的人脸信息特征图谱库标准对齐后，与录入人脸库的人脸图像进行特征相似度匹配，进行身份验证。

所述疲劳驾驶应用检测包括：瞌睡、哈欠行为、低头行为检测，所述分神驾驶应用检测包括：接打电话和吸烟行为检测；

瞌睡行为检测：对人脸特征图谱进行眼部ROI-pooling，利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点回归，经公式将关键点位置转换为眼睛张开程度λ，输出当前时刻眼睛睁闭状态S1以及睁闭程度λ；

哈欠行为检测：对人脸特征图谱进行嘴部ROI-pooling，利用哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态S2；