[发明专利]基于多元信息融合的驾驶员疲劳监测装置及其监测方法

权利要求书

1.基于多元信息融合的驾驶员疲劳监测装置的监测方法，其特征在于由眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程和疲劳特征判决四个部分组成，

所述眼睛特征识别过程包括：摄像头采集到头部图像数据并通过SVHS接口传送到数字信号处理器，数字信号处理器对摄像头拍摄的图像进行平滑去噪声处理，去除造成干扰的冗余信息，采用Viola方法检测和定位摄像头采集图像的人脸区域，再次使用Viola方法检测和定位之前得到人脸区域内的人眼区域图像；对采集到的人眼区域图像进行2D-DCT变换得到观察向量序列，把观察向量序列输入到已训练好的用于判断眼睛闭合的嵌入式隐马尔可夫判别模型，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态，如果睁眼分类器的似然值比闭眼分类器的似然值大，则为睁眼状态，相反则为闭眼状态；检测到人眼状态后，分时段记录判别为闭眼状态的帧数和采集到的帧总数，并计算出眼睛闭合时间占特定时间的百分率的perclos系数，从而判断驾驶员的疲劳程度，如果perclos系数超过正常状态值，则驾驶员处于疲劳状态，相反则处于正常状态；

所述视线跟踪过程包括：安装在汽车的挡风玻璃的矩形红外LED光源模块发出红外线，红外光源经人眼角膜反射后，在带有滤光片的摄像头采集的图像上形成亮斑点，称为普尔钦斑点；数字信号处理器通过SVHS接口接收由摄像头采集经红外光源照射后的人脸图像，通过所述眼睛特征识别过程中的人脸人眼定位处理得到人眼区域，采用水平和垂直灰度投影法定位瞳孔中心，并利用普尔钦斑点的几何特征检测其位置，然后对普尔钦斑点进行灰度修正、平滑处理，通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而判别视线方向；通过计算在特定时间内视线不变的帧数占帧段总数的比例得出视线停留时间比例，若视线停留时间比例超过设定值，则判断驾驶员为长时间注视某个方向或者是视线没有注视道路前方，并认定为疲劳状态；

所述驾驶行为监测过程包括：通过安装在方向盘上的角度传感器和压力传感器，监测方向盘的转动情况和驾驶员是否有抓紧方向盘，记录设定长时间段内的角度传感器和压力传感器的数据变化情况，如果传感器RS232接口输出到数字信号处理器的数据在设定时间内没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作方向盘；通过安装在脚踏板上的压力传感器，监测汽车脚踏板的使用状况，记录特定长时间段内的压力传感器的数据变化情况，如果传感器通过RS232接口输出到数字信号处理器的数据设定时间内没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作脚踏板；

所述疲劳特征判决包括：测量所述眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程中判别驾驶员疲劳状态的基本可信度，即正确判断的概率；结合信息融合理论建立疲劳特征判决架构，使用现有的贝叶斯推理扩充的D-S证据推理方法，利用Dempster组合规则融合眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程的疲劳判断的基本可信度得到联合基本可信度分配，从而建立准确的疲劳判决架构并利用各个过程的疲劳测量信息来判断对驾驶员是否处于疲劳驾驶状态，如果驾驶员处于疲劳驾驶状态，数字信号处理器输出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。

2.根据权利要求1所述的方法，其特征在于眼睛特征识别过程中用于判断眼睛闭合的嵌入式隐马尔可夫判别模型的训练过程如下：

(1)采集不同人群在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细节和不同脸部朝向条件下的闭眼和睁眼状态样本；

(2)对步骤(1)中采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，对两类人眼图像进行采样并对每个采样窗进行2D-DCT变换，通过2D-DCT变换后的低频系数构成观察向量序列；

(3)设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模型状态数，根据设定的超状态个数和每个超状态内嵌入状态个数以及嵌入式隐马尔可夫模型的结构，将步骤(2)中的人眼观察向量序列均匀分割；

(4)根据步骤(3)中的状态数和图像均匀分割后得到的观察向量序列，初始化嵌入式隐马尔可夫模型参数，通过双重嵌套的Viterbi算法对图像进行重新分割，用Baum-welch算法重估嵌入式隐马尔可夫模型参数；当前后两次的迭代误差小于设定的阈值时，停止迭代，得到所述用于判断眼睛闭合的嵌入式隐马尔可夫判别模型。