[发明专利]一种基于时空融合特征网络的多通道脑电信号情绪识别方法

说明书

本发明公开了一种基于时空融合特征网络的多通道脑电信号情绪识别方法。属于脑电信号处理和情感计算领域，具体操作步骤如下：情绪刺激实验范式设计和脑电信号采集；对采集到的脑电信号进行预处理；预处理后的信号进行数据转换，得到包含时空信息的样本数据；将处理后的脑电样本输入至时空融合特征网络中，利用时空融合相关性信息，得到情绪分类结果。本发明所提出的基于时空融合特征网络的脑电信号情绪识别框架，既利用了脑电信号在情绪识别中的客观性，又通过时空融合特征网络充分挖掘了脑电信号时间依赖性和空间相关性信息，并且不需要专家先验知识和人工特征提取，可以高效、准确、客观地得到情绪识别结果。

技术领域

本发明属于脑电信号处理、情感计算领域，涉及一种基于时空融合特征网络的多通道脑电信号情绪识别方法。

背景技术

情绪是认知和意识过程中对心理和生理状态的测量，对人类的行为、心理健康以及日常体验的质量有着非常重要的影响。了解人类的情感状态是缩短人机距离、建立友好人机交互环境的关键一环。医学领域中，情绪识别技术可以帮助医生诊疗精神疾病、帮助患者表达情感，同时有助于医生追踪患者病情。为了让机器理解情绪，心理学家通常使用两种模型来表示情绪，即离散模型和维度模型。离散模型将情绪划分为基本状态，包括六种基本情绪(快乐、悲伤、恐惧、厌恶、愤怒、惊讶)。维度模型使用连续的坐标系来描述情绪空间。通常，维度模型包含效价和唤醒两个维度。唤醒维度用于表示情绪的兴奋程度，效价维度用于表示情绪的积极程度。

脑电信号(EEG)直接从大脑皮层采集，是情绪刺激的实时反映。同时，与识别面部表情等非生理信号相比，生理信号无法伪装的特性使得使用生理信号识别情绪更加准确。因此，基于多通道脑电信号的情绪识别受到了越来越多的关注，也逐渐成为情绪障碍诊断的重要计算机辅助方法。随着深度学习在其他模式识别任务中的表现越来越突出，许多研究应用深度学习方法替代传统的机器学习，以自动学习与情绪有关的深度特征表示。现有的大多数方法基于人工选择特征，然而，人工设计和提取特征需要基于领域知识，对于非领域专家来说可能是一种障碍。同时，人工特征冗余度高，而且难以表达脑电信号的高层语义信息。因此，如何更好地利用脑电信号的时空维度相关性信息建立更高效的模型，以在无需领域知识的情况下，实现更加快速、准确、客观的情绪识别仍然是一个尚待解决的问题。

发明内容

发明目的：本发明的目的是提供了一种基于时空融合特征网络的多通道脑电信号情绪识别方法；目前存在的大多数基于脑电的情绪识别框架通常需要人工特征提取和选择，而有些方法即使使用深度学习，也仍然需要手动提取特征，然后将选择出有利于情绪识别的有用特征输入网络。然而人工提取和选择特征通常是比较困难的，同时可能会造成所设计方法向专业领域外推广应用的阻碍，因此开发原始信号端到端自动学习的情绪识别模型是必要的。在深度网络提取特征方面，由于脑电信号序列在时间和空间维度上包含丰富的有用信息，目前的方法通常仅考虑时间或空间单一维度，或设置两个独立模块，分开提取时空信息再将特征合并。这些方法虽然考虑了时空维度的信息，但可能不利于网络内两个维度之间的信息流动。对此，我们提出的方法基于原始脑电信号端到端学习，在模型中同步提取时空特征，同时加入时空注意力模块加强有意义信息，在公开数据集上测试，实现了精确、客观的识别结果。

技术方案：本发明所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其具体操作步骤如下：

(1)、情绪刺激实验范式设计和脑电信号数据采集；

(2)、对采集到的脑电信号进行基本预处理，从而得到情绪脑电信号数据；

(3)、对经过预处理后的情绪脑电信号进行数据转换，使样本包含时空信息；

(4)、将处理后的脑电样本输入至时空融合特征网络中，并充分利用时空融合相关性信息，最终得到情绪分类结果。

进一步的，在步骤(1)中，所述设计情绪刺激实验范式的具体过程是：

首先，从情绪素材库中挑选能够诱发不同情绪的情绪刺激素材；