[发明专利]基于注意力机制的多特征户外环境情绪识别方法

说明书

本发明公开了基于注意力机制的多特征户外环境情绪识别方法，包括：获取被测人员的生理数据和户外环境的图像；采用Relief非线性特征提取算法提取被测人员的生理数据特征，采用ConvLSTM识别模型获得任一帧图像组对应的情绪等级标签；利用MTCNN网络进行人脸识别与定位；利用Resnet模块提取任一帧图像组的图像的纹理特征，并将任一帧图像组的图像转换成一维向量，得到第一次输出向量；利用Lenet5卷积网络对人脸识别与定位的图像进行特征粗提取，并利用VAE自编码器提取任一帧图像组的图像的生成特征，得到生成特征对应的第一特征向量；将第一次输出向量与第一特征向量输入至全连接分类层，并添加分类层与真实标签的熵函数，得到情绪等级预测结果。

技术领域

本发明涉及图像处理技术领域，尤其是基于注意力机制的多特征户外环境情绪识别方法。

背景技术

科学技术的发展，推动了情绪识别技术的广泛应用与研究，其可应用于视频监控、审讯、满意度调查等领域。目前，通过情绪分析技术推断其内心的心理活动变化已成为了一个相当热门的研究领域，其中成熟的DEAP数据集为该领域做出了杰出的贡献，此外，情绪分析技术还可用于教育、自然环境等场合，以体现其对于课题学习的接受认知程度、对于外部环境的满意程度等。通过情绪分析可以使相关人员及时做出相应的调控。

情感是一个人的生理和心理状态的综合反映，是一个人在受到外界环境的变化或刺激的综合反映。情感反映了人对客观事物的态度，受人的主观意识的影响，反映了人的需要与客观环境的联系，反映了人的心理活。对外部环境、事物的认识与评估会导致情感的差异，不仅会对个体的身体和行为状况造成影响，同时也会导致机体自身的生理状况发生相应的改变，从而导致生理信号的改变。研究发现，人在生气时，呼吸速率会显著提高，从而引起呼吸信号的短促变化；在兴奋的时候，心脏跳动的速度会变快，从而导致心电信号的频率增加。可以看出，情感是一种心理与生理的复合体，在不同的情感状态下，其生理活动的方式也不尽相同。因此，利用生理数据进行情绪分析是具有科学依据与可靠性的。

然而，在实际应用场景中，生理数据的获取往往要借助传感器等设备，是很难随时随地直接捕获的，但其对于数据集标签的真实反映有助于进一步的学习认知。例如“专利公开号为：CN111931616A、名称为：基于移动智能终端传感器设备的情绪识别方法及系统”的中国发明专利，其通过移动智能终端上的各传感器采集不同情绪类别下的原始传感器数据，作为训练样本，并标注各训练样本对应的真实情绪类别；从预处理后的各传感器数据中分别提取特征，得到不同情绪类别下的各训练样本所对应的特征向量，构建训练集；基于训练集得到最终的情绪识别分类器；利用情绪识别分类器对移动智能终端上的各传感器实时采集的原始传感器数据进行预测，获得情绪预测结果。

目前，现有技术中的情绪识别技术已广泛应用于日常生活，但情绪识别的难度往往受环境的影响较大，因而针对不同户外环境下的情绪识别模型使用相应的样本数据进行训练往往可以得到更高精度的识别效果，而多次训练会极大地降低算法的效率。且传统的深度学习需要大量的训练数据，而户外环境下用户数据的大量获取会带来隐私、伦理等问题。此外，户外环境的情绪样本来自自然场景下的情绪反馈，而非通过实验应激或暗示得到，因而样本标签分布不均匀。

因此，急需要提出一种逻辑简单、识别可靠的基于注意力机制的多特征户外环境情绪识别方法。

发明内容

针对上述问题，本发明的目的在于提供基于注意力机制的多特征户外环境情绪识别方法，本发明采用的技术方案如下：

基于注意力机制的多特征户外环境情绪识别方法，其包括以下步骤：

获取被测人员的生理数据和在户外环境的图像；

采用Relief非线性特征提取算法提取被测人员的生理数据特征，采用Conv LSTM识别模型获得任一帧图像组对应的情绪等级标签；

任一帧图像组的图像进行预处理，并利用MTCNN网络进行人脸识别与定位；