[发明专利]一种基于情绪识别的ATM机防挟持方法及装置

权利要求书

1.一种基于情绪识别的ATM机防挟持方法，其特征在于，包括：

对获取的人脸图像进行预处理，并从预处理后的人脸图像中提取面部特征；

根据所述面部特征进行序列特征聚合分类得到人脸表情预测结果；

从人脸图像中选取感兴趣区域，并根据所述感兴趣区域进行生理信号检测获得生理信号检测结果；

根据所述人脸表情预测结果和所述生理信号检测结果获得防挟持预测结果。

2.根据权利要求1所述的基于情绪识别的ATM机防挟持方法，其特征在于，所述对获取的人脸图像进行预处理，包括：

通过人脸图像中人脸特征点的位置对人脸的角度和姿势进行归一化操作；

对人脸图像进行尺寸归一化处理。

3.根据权利要求1所述的基于情绪识别的ATM机防挟持方法，其特征在于，所述根据所述面部特征进行序列特征聚合分类得到人脸表情预测结果，包括：

利用AFEW动态表情序列训练的识别网络SE-ResNet50、DenseNet121和SE-Inceptionv4从人脸图像中提取序列图像的特征；

计算序列图像的特征的统计量得到固定维度的特征；

利用预先训练的linear SVM分类模型分别对固定维度的特征进行分类；

利用预先训练的FP-VGG-GRU网络模型对分类后的特征进行人脸表情预测。

4.根据权利要求3所述的基于情绪识别的ATM机防挟持方法，其特征在于，FP-VGG-GRU网络模型的训练过程包括：

对训练数据集进行帧提取；

对所述序列图像进行预处理生成灰度序列图片、LBP序列图片和融合序列图片；

利用所述序列图像进行预处理生成灰度序列图片、LBP序列图片和融合序列图片对预先建立的FP-VGG-GRU网络模型进行训练，并记录FP-VGG-GRU网络模型在AFEW验证集上的识别准确率。

5.根据权利要求4所述的基于情绪识别的ATM机防挟持方法，其特征在于，FP-VGG-GRU网络模型的建立过程包括：

利用预处理后的人脸图像训练FP-VGG-Face静态表情识别网络模型；

将训练后的所述FP-VGG-Face静态表情识别网络模型与GRU网络连接获得FP-VGG-GRU网络模型。

6.根据权利要求3所述的基于情绪识别的ATM机防挟持方法，其特征在于，所述利用AFEW动态表情序列训练的识别网络SE-ResNet50、DenseNet121和SE-Inception v4从人脸图像中提取序列图像的特征，包括：

利用预先训练的SE-ResNet50、DenseNet121和SE-Inception v4网络分别提取预处理后的序列图像特征；

对所述序列图像特征进行L2归一化。

7.根据权利要求3所述的基于情绪识别的ATM机防挟持方法，其特征在于，所述根据所述感兴趣区域进行生理信号检测获得生理信号检测结果，包括：

对所述感兴趣区域进行特征点检测并对特征点进行跟踪；

取每帧感兴趣区域的特征点在纵轴方向的坐标值组成原始信号；

将每个特征点的原始信号进行归一化处理和带通滤波处理；

将处理后的原始信号采用独立成分分析进行盲源分离获得心率和呼吸的源信号；

根据所述源信号进行生理信号检测获得检测结果。

8.根据权利要求7所述的基于情绪识别的ATM机防挟持方法，其特征在于，所述根据所述源信号进行生理信号检测获得检测结果，包括：

通过傅里叶变换将源信号转换为频域信号获得呼吸率和心率；

分别判断呼吸率和心率是否在预设的区间范围内获得生理信号检测结果。

9.根据权利要求1所述的基于情绪识别的ATM机防挟持方法，其特征在于，所述根据所述人脸表情预测结果和所述生理信号检测结果获得防挟持预测结果，包括：

对所述人脸表情预测结果和所述生理信号检测结果进行加权融合获得防挟持预测结果。