[发明专利]一种驾驶员多种行为预警系统及危险评估方法

权利要求书

1.一种驾驶员多种行为预警系统，其特征是包括：视频采集模块、关键部位定位模块、行为识别模块、视线分析模块、驾驶员状态预警模块和离线训练模块；

所述离线训练模块用于对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；所述人脸部关键部位正样本包括：人脸正样本、眼部正样本、嘴部正样本；所述离线训练模块还用于对驾驶员的三种行为样本进行离线训练，依次获得三种分类模型；所述三种行为样本包括：眼部闭眼正样本和眼部睁眼负样本、嘴部张嘴正样本和嘴部闭嘴负样本、以及抽烟正样本和没有抽烟负样本；所述三种分类模型包括眼睛疲劳分类模型、哈欠分类模型、以及抽烟分类模型；

所述视频采集模块用于采集驾驶员的视频图片集合；

所述关键部位定位模块提取所述视频图片集合的每帧视频图片的视觉特征参数，并通过所述混合定位模型得到所述每帧视频图片中驾驶员的人脸部关键部位的位置信息和区域图片；所述人脸部关键部位包括：人脸、眼部和嘴部；

所述行为识别模块根据所述嘴部区域图片进行平移获得抽烟区域图片；再提取所述眼部区域图片、嘴部区域图片和抽烟区域图片的视觉特征参数，并分别输入所述三种分类模型中，获得三种行为识别结果的返回值；所述三种行为识别结果的返回值包括：睁眼区域图片、闭嘴区域图片和没有抽烟区域图片的返回值为0；闭眼区域图片、张嘴区域图片和抽烟区域图片的返回值为1；

所述视线分析模块对所述驾驶员的人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片，提取所述左脸区域图片和右脸区域图片的视觉特征向量并进行脸部是否偏离正前方分析，获得正脸和侧脸识别结果的返回值；所述正脸和侧脸识别结果的返回值包括：正脸区域图片的返回值为0；侧脸区域图片的返回值为1；

所述驾驶员状态预警模块对所述三种行为识别结果以及所述正脸和侧脸识别结果分别进行预警，并对对所述三种行为识别结果以及所述正脸和侧脸识别结果进行决策融合，获得驾驶员的危险评估结果。

2.一种利用权利要求1所述的驾驶员多种行为预警系统的危险评估方法，其特征是如下步骤进行：

步骤1、离线训练获得混合定位模型和三种分类模型：

步骤1.1、对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；

步骤1.2、对驾驶员的眼部闭眼正样本和眼部睁眼负样本进行离线训练，获得眼睛疲劳分类模型；

步骤1.3、对驾驶员的嘴部张嘴正样本和嘴部闭嘴负样本进行离线训练，获得哈欠分类模型；

步骤1.4、对驾驶员的抽烟正样本和没有抽烟负样本进行离线训练，获得抽烟分类模型；

步骤2、获取驾驶员连续的视频图片集合，记为M＝{m₁,m₂,…,m_i,…,m_n}；m_i表示所述视频图片集合M中第i帧视频图片；1≤i≤m；

步骤3、提取所述第i帧视频图片m_i的视觉特征参数，并输入所述混合定位模型获得第i帧视频图片m_i的人脸部关键部位的位置信息P_i和区域图片Q_i；并有：表示人脸位置信息；表示眼部位置信息；表示嘴部位置信息；表示人脸区域图片；表示眼部区域图片；表示嘴部区域图片；

步骤4、根据所述嘴部区域图片进行向左或向右的位置平移，获得抽烟区域图片

步骤5、提取所述眼部区域图片嘴部区域图片和抽烟区域图片的视觉特征参数并分别输入所述眼睛疲劳分类模型、哈欠分类模型和抽烟分类模型获得三种行为识别结果r_i；并有表示所述眼睛疲劳分类模型的识别结果；并有：表示所述眼部区域图片为睁眼区域图片；表示所述眼部区域图片为闭眼区域图片；表示所述哈欠分类模型的识别结果；并有：表示所述嘴部区域图片为闭嘴区域图片；表示所述嘴部区域图片为张嘴区域图片；表示所述说抽烟分类模型的识别结果；并有：表示所述抽烟区域图片为没有抽烟区域图片；表示所述抽烟区域图片为抽烟区域图片；

步骤6、对所述人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片分别提取所述左脸区域图片和右脸区域图片的视觉特征，获得左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾；对所述左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾进行降维处理获得左脸特征向量a⁽ⁱ⁾和右脸特征向量b⁽ⁱ⁾；

步骤7、利用式(1)进行脸部是否偏离正前方分析，获得人脸偏转系数K_i：

Ki=Σj=1l(|aj(i)-bj(i)|)---(1)]]>

式(1)中，表示所述左脸特征向量a⁽ⁱ⁾中第j个元素；表示所述右脸特征向量b⁽ⁱ⁾中第j个元素；

步骤8、若所述人脸偏转系数K_i小于所设定的阈值时，则表示所述人脸区域图片的识别结果为正脸区域图片；记为否则表示所述人脸区域图片的识别结果为侧脸区域图片；记为从而获得第i帧视频图片m_i的识别结果

步骤9、重复步骤3-步骤8，从而获得n帧视频图片的识别结果R＝{r⁽¹⁾,r⁽²⁾,...,r⁽ⁱ⁾,...,r⁽ⁿ⁾}；

步骤10、利用式(2)获得识别结果频率F_σ：

Fσ=Σi=1nrσ(i)n---(2)]]>

式(2)中，σ∈(e,m,c,f)；并有F_σ＝{F_e,F_m,F_c,F_f}；F_e表示眼部区域识别结果频率；F_m表示嘴部区域识别结果频率；F_c表示抽烟区域识别结果频率；F_f表示人脸区域识别结果频率；

步骤11、将眼部区域识别结果频率F_e与所设定的眼部阈值进行比较，若超出所述眼部阈值，则令F_e'＝1，表示眼部疲劳并进行预警；否则，令F_e'＝0，表示眼部正常；

将嘴部区域识别结果频率F_m与所设定的嘴部阈值进行比较，若超出所述嘴部阈值，则令F_m'＝1，表示嘴部张嘴为打哈欠并进行预警；否则，令F_m'＝0，表示嘴部闭合；

将抽烟区域识别结果频率F_c与所设定的抽烟阈值进行比较，若超出所述抽烟阈值，则令F_c'＝1，表示在抽烟并进行预警；否则，令F_c'＝0，表示未抽烟；

将人脸区域识别结果频率F_f与所设定的人脸阈值进行比较，若超出所述人脸阈值，则令F_f'＝1，表示侧脸并进行预警；否则，令F_f'＝0，表示正脸；从而获得预警结果列表F_σ'＝{F_e',F_m',F_c',F_f'}；

步骤12、利用式(3)对所述预警结果F_σ'进行决策融合，获得危险评估结果danger：

danger＝k_eF_e'+k_mF_m'+k_cF_c'+k_fF_f'     (3)

式(3)中，k_e、k_m、k_c、k_f分别表示所设定的危险系数；并有：k_e+k_m+k_c+k_f＝1。