[发明专利]基于时-空-频联合特征的脑电情感分类方法

说明书

本发明公开了一种基于时‑空‑频联合特征的脑电情感分类方法，将不同通道的微分熵特征转换成一种四维数据结构，之后采用VGG16和长短时记忆网络相结合的深度神经网络模型进行样本的空间和时间信息学习，将LSTM最后一个节点的隐藏层输出到一个线性转换分类器中执行分类。所提方法在DEAP和SEED数据集上都达到了良好的效果，与现有方法相比，验证了时‑空‑频特征对情感识别的有效性。

技术领域

本发明提出了一种结合脑电信号的时域、空域和频域的特征信息，将不同通道的微分熵(Differential Entropy，DE)特征转换成一种四维(4D)数据结构，采用迁移学习中的Finetune思想，结合VGG16和长短时记忆网络(Long-short term memory neuralnetwork，LSTM)相结合的深度神经网络模型进行样本的空间和时间信息学习，将LSTM最后一个节点的隐藏层输出到一个线性转换分类器中执行分类。

背景技术

情绪是有意识或无意识地感知物体或情况而触发的一种心理生理过程，通常与情绪，气质，性格倾向和动机有关。除了情绪的心理影响外，它还具有生理作用，影响决策过程。积极情绪虽然会积极影响人类健康并有效发挥作用，但消极情绪会导致健康问题。由于这些原因，情绪识别系统在机器人，电子教育，健康，市场，游戏产业，企业家精神产业，安全驾驶，社会保障等许多领域引起了关注。

基于机器学习方法的脑电信号在人类情感识别方面也引起了广泛关注，而常用在情感分类的机器学习方法有支持向量机、决策树、K近邻以及隐马尔科夫模型等。虽然也能完成分类任务，但是传统的机器学习在分类过程中一般都需要我们自己手动提取特征，因此情绪分类准确率难以提高，而且效率低下。深度学习的出现，解决了这个问题，它可以自动完成脑电信号特征提取，并对情绪进行学习分类，大大提高了脑电情绪识别的准确率。然而，对于基于深度学习的脑电表征构建来说，仍有一些挑战需要解决，其中之一就是如何提取更多有用的脑电信息来进行情感识别。

在脑电信号的频率信息上，频段与情绪类型有着密切的关系，其中θ(4–7赫兹)、α(8–13赫兹)、β(14–30赫兹)和γ(31–50赫兹)四个频段关系最为密切，也有研究表明将这四个波段组合在一起在对情绪进行分类时优于任何单个频段。在脑电信号的空间信息上，研究人员试图通过探索电极与电极之间空间位置关系，来提高情绪识别的性能。Zhang提出通过多个方向递归神经网络的方法来捕捉单个时刻电极之间的空间依赖性，证明了不同电极间是有关系的，但不足之处在于他们只扫描了四个顺序电极，无法总结所有电极之间的内在关系；Song等人提出了一种动态图卷积神经网络来探索相邻通道的更深层次的空间信息，该网络通过图像来建模多通道脑电信号；Deng等人提出了一种改进的双三次脑电插值算法和五种折叠对称策略来更大范围地提取空间特征信息。在脑电信号的时间信息上，研究人员意识到在时间切片之间的上下文依赖性也很重要。Alhagry等人将LSTM应用到脑电信号的特征提取中，然后使用密集层来完成分类，不足是只考虑到了脑电信号的时间性且时间窗设置为5s包含的数据量过大。很多人也综合考虑了多种特征信息的结合，Wang等人设计了一个3D卷积构建的EmotioNet，不仅考虑了空间信息，也将时域中的特征进行了处理。Yang等人提出了一个混合神经网络，即结合CNN和LSTM分别对空间和时间上对脑电信号进行特征学习；Ding等人提出一个深度学习框架Tsception，其空间卷积层可以利用额叶脑区情绪反应的不对称性，从大脑左右半球学习辨别表征，时间卷积层由多尺度一维卷积核组成，但他们使用的是自己收集的脑电数据；Jia等人提出了一种基于空间-光谱-时间的注意力三维密集网(SST-EmotionNet)来同时整合空间-光谱-时间特征，缺点是数据量过于庞大。

发明内容

针对以上问题，本文提出了将脑电数据转化为时-空-频三个维度的信息，利用深度神经网络自动提取特征的特性完成对情感脑电信号的识别和分类任务。

本发明包括以下步骤：

步骤(1)：多通道脑电信号采集与预处理