[发明专利]一种基于注意力机制的端到端脑电情感识别方法

说明书

本发明公开了一种基于注意力机制的端到端脑电情感识别方法，首先确定脑电样本长度、样本内切片长度和切片窗移，对脑电样本进行切片；接下来计算脑电信号特征，并按照脑电采集设备的导联在头区上的分布重新对特征进行排列，得到类似热力图的脑电信号表征；然后将脑电信号表征输入到基于注意力机制的卷积神经网络中，得到脑电信号短时特征表达；再将脑电信号短时特征表示作为输入，利用加入注意力机制的LSTM网络学习样本中不同时间段脑电信号对情感分类的重要性，并得到脑电样本的长时特征表示；最后以整体样本的长时特征表示为输入，进入全连接层进行情感分类。本发明提高了基于脑电的情感分类的准确率，为情绪变化时脑电范式的维持时长提供了参考。

技术领域

本发明属于模式识别技术领域，具体涉及一种脑电情感识别方法。

背景技术

自动情感识别领域近年来越来越受到人们的关注，如在人机交互领域中，机器可以自动识别被观测者的情绪，并做出相应的反应。目前情感识别领域主要分为两类，一种是离散的情感识别，即将人的情感分类为高兴，悲伤，生气等等几种常见状态；另外一种是连续的情感识别，它将人的情感状态用两个维度进行表示，其中Arousal表示兴奋程度，Valence表示愉悦程度。两个领域描述的角度不同，给人们传达的信息也有所差异，都是情感领域研究的焦点。

在过去几年中，通过脑电信号态来进行情感分类已经取得了许多重要的成果，并且大量的研究已经证明了同时关注脑电信号的时空特性，在感情分类或精神压力上的效果的往往优于用脑电信号全局特征作为输入的模型。文献“EEG-Based Emotion Recognitionusing 3D Convolutional Neural Networks”International Journal of AdvancedComputer Science and Applications(IJACSA),9(8),2018.中利用3D-CNN从DEAP数据集的多通道EEG数据中识别出人类的情绪，获得了87.44％和88.49％的识别准确率文献Spatial–Temporal Recurrent Neural Network for Emotion Recognition,in IEEETransactions on Cybernetics,vol.49,no.3,pp.839-847中提出了一种新的深度学习框架，称为时空递归神经网络(STRNN)，将信号源的空间信息和时间信息的特征学习集成到一个统一的系统中，合理利用了脑电信息的时空特性对离散情感做出分类。

时空相关性目前研究学者已经在情感分类模型中取得了一定的成果，然而由于情感的复杂性和个体差异性，连续维度情感估计仍然面临以下挑战：

1)“关键帧”问题。在长时序的情感分类任务中，每一时刻的情感状态与最近时刻的情感状态具有强相关性，且和某些关键时刻的情感信息具有更强的相关性，同时，每一时刻的情感状态和很久之前的情感信息可能关系较小。在过去的基于脑电的情感分类研究中，在对每一时刻的情感状态进行估计时，过去的情感信息都是以同等重要的方式进行处理，导致了模型难以获取关键的上下文信息，影响了模型的泛化能力和准确度。

2)样本长度规则。传统的基于脑电的情感分类模型的输入样本往往不是同一长度，对于情感分类，一般以1秒或4秒计算情感相关特征，如果没有用到时序模型，样本长度往往也定为1s或4s，而医学上往往用10s计算功率谱密度等脑电相关特征，并没有统一的样本长度和情感相关特征计算的窗长确定规则。通过不同的样本长度计算出的分类准确率也有所不同。

3)模型注意力机制问题。传统的基于脑电的情感分类方法通常利用全局特征或者利用主成分分析(PCA)等方法进行特征降维，用降维后的特征作为模型的输入，或者将不同脑电导联划分为不同的区域，分区计算脑电的情感相关特征作为模型输入，最后进行结果比较。没有给不同的脑区、频带和时间段分配权重。难以从机器学习的角度挖掘脑电信号的特性及不同时空的特征重要性。

综上所述，现有的基于脑电的情感分类方法受到了传统方法的限制，难以发觉关键的时空信息，容易造成情感分类精度低，泛化能力差等问题。

发明内容