[发明专利]一种驾驶员多种行为预警系统及危险评估方法

摘要

本发明公开了一种驾驶员多种行为预警系统及其危险评估方法，其特征是包括视频采集模块、关键部位定位模块、行为识别模块、视线分析模块、驾驶员状态预警模块和离线训练模块；离线训练模块用于获得混合定位模型和三种分类模型；视频采集模块用于采集驾驶员的视频图片集合；关键部位定位模块用于获得人脸部关键部位的位置信息和区域图片；行为识别模块用于获得三种行为识别结果；视线分析模块用于获得正脸和侧脸识别结果；驾驶员状态预警模块对三种行为识别结果以及正脸和侧脸识别结果分别进行预警和危险评估。本发明能对驾驶员的疲劳、打哈欠、抽烟、视线偏离等违规驾驶行为进行有效监控，并及时进行预警提示和危险评估。

主权项

一种驾驶员多种行为预警系统，其特征是包括：视频采集模块、关键部位定位模块、行为识别模块、视线分析模块、驾驶员状态预警模块和离线训练模块；所述离线训练模块用于对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；所述人脸部关键部位正样本包括：人脸正样本、眼部正样本、嘴部正样本；所述离线训练模块还用于对驾驶员的三种行为样本进行离线训练，依次获得三种分类模型；所述三种行为样本包括：眼部闭眼正样本和眼部睁眼负样本、嘴部张嘴正样本和嘴部闭嘴负样本、以及抽烟正样本和没有抽烟负样本；所述三种分类模型包括眼睛疲劳分类模型、哈欠分类模型、以及抽烟分类模型；所述视频采集模块用于采集驾驶员的视频图片集合；所述关键部位定位模块提取所述视频图片集合的每帧视频图片的视觉特征参数，并通过所述混合定位模型得到所述每帧视频图片中驾驶员的人脸部关键部位的位置信息和区域图片；所述人脸部关键部位包括：人脸、眼部和嘴部；所述行为识别模块根据嘴部区域图片进行平移获得抽烟区域图片；再提取眼部区域图片、嘴部区域图片和抽烟区域图片的视觉特征参数，并分别输入所述三种分类模型中，获得三种行为识别结果的返回值；所述三种行为识别结果的返回值包括：睁眼区域图片、闭嘴区域图片和没有抽烟区域图片的返回值为0；闭眼区域图片、张嘴区域图片和抽烟区域图片的返回值为1；所述视线分析模块对所述驾驶员的人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片，提取所述左脸区域图片和右脸区域图片的视觉特征向量并进行脸部是否偏离正前方分析，获得正脸和侧脸识别结果的返回值；所述正脸和侧脸识别结果的返回值包括：正脸区域图片的返回值为0；侧脸区域图片的返回值为1；所述驾驶员状态预警模块对所述三种行为识别结果以及所述正脸和侧脸识别结果分别进行预警，并对所述三种行为识别结果以及所述正脸和侧脸识别结果进行决策融合，获得驾驶员的危险评估结果。