[发明专利]基于面部图像与脉搏信息融合的路怒情绪识别方法

权利要求书

1.基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，基于多源信息和数据融合技术准确识别驾驶员的路怒情绪并预警，包括以下步骤：

步骤(1)：数据采集：

通过设置在车内仪表盘之上的红外高速摄像头采集驾驶员的面部视频图像信息；

通过佩戴在驾驶员手腕处的腕带式无线脉搏采集终端采集驾驶员的脉搏信息；

步骤(2)：数据预处理：

从面部视频图像信息中获取驾驶员的面部图像，从面部图像中提取面部特征；

从脉搏信息中提取脉搏特征；

将面部特征和脉搏特征进行特征融合，然后基于主成分分析法进行降维处理，得到驾驶员的路怒情绪特征；

步骤(3)：利用支持向量机SVM对驾驶员的路怒情绪特征进行训练，建立驾驶员的路怒情绪识别模型；

步骤(4)：利用训练得到的路怒情绪识别模型对驾驶员的情绪状态进行实时监测，判别驾驶员的路怒情绪状态；

所述步骤(2)中，提取面部特征，具体为：

从面部视频信息中获取驾驶员的面部图像，并从中提取面部特征，步骤：

从视频图像信息中选取设定时间段，提取连续若干帧图像，对图像去噪，然后基于YCbCr色彩空间的自适应肤色分割方法对图像中的人脸区域进行识别与分割，再从人脸区域中基于灰度投影积分提取面部特征，所述人脸区域包括人的眼睛、眉毛和嘴巴区域；

在人眼区域，所提取的特征，包括：眨眼次数、眨眼频率、眼睛开合度、单位时间内异常开合的持续时间以及平均眨眼时间，单位时间内异常开合的持续时间超过设定阈值，则表示当前驾驶员处于愤怒状态；

在眉毛区域，所提取的特征，包括：眉毛上下偏移量以及左右眉毛相对偏移量，当左右眉毛相对偏移量超过设定阈值，则表示当前驾驶员处于愤怒状态；

在嘴巴区域，所提取的特征，包括：嘴巴开合度、嘴巴异常开合度、嘴巴开合次数以及嘴巴开合频率，当嘴巴异常开合度大于设定阈值，则表示当前驾驶员处于愤怒状态；

将人眼区域、眉毛区域和嘴巴区域所提取的特征融合后综合评判驾驶员的愤怒状态，提高识别率；

所述步骤(2)中，特征融合与降维具体为：

将面部特征和脉搏特征进行特征融合与降维处理，得到驾驶员的路怒情绪特征，步骤：

将所述面部特征和脉搏特征进行特征融合，形成多维特征空间，再对多维特征空间进行降维，得到驾驶员的路怒情绪特征。

2.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(1)中，红外高速摄像头首先对驾驶员进行定位，再进行面部视频图像采集；腕带式无线脉搏采集终端采用光电式脉搏传感器，对驾驶员进行脉搏信息采集。

3.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(2)中，提取脉搏特征，具体为：

基于小波变换对脉搏信号进行滤波和去噪处理，分别从时域和频域提取脉搏特征，所述脉搏特征包括线性特征和非线性特征；

时域脉搏特征，包括：相邻脉搏主波波峰间期的均值、相邻脉搏主波波峰间期的标准差、相邻脉搏主波波峰间期的均方根、相邻脉搏主波波峰间期的一阶差分或相邻脉搏主波波峰间期的二阶差分；

频域脉搏特征，包括：低频功率谱、高频功率谱、高低频比例、功率谱峰值或峰值频率；

非线性特征，包括：心率变异性HRV关联指数和李雅普诺夫Lyapunov指数。

4.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(3)中，从情绪识别特征向量矩阵中抽取部分实验样本成为训练集，作为支持向量机SVM的输入向量，对SVM进行训练，并提高SVM的泛化能力和鲁棒性，最终构建驾驶员路怒情绪识别模型。

5.如权利要求1所述的基于面部图像与脉搏信息融合的路怒情绪识别方法，其特征是，所述步骤(3)的驾驶员路怒情绪识别模型建立步骤为：

步骤(31)：将经过PCA降维后的驾驶员的路怒情绪特征随机分为训练集和测试集；

步骤(32)：选用径向基RBF核函数，确定惩罚因子C以及交叉检验次数；

步骤(33)：利用训练集数据训练识别模型，再用测试集计算识别率；

当识别率达到预期要求时，则模型训练结束；

当识别率未能达到预期要求时，则优化惩罚因子C，再次利用训练集进行模型训练，直到识别率达到预期。