[发明专利]一种融合先验与自动脑电特征的情绪识别方法及系统

权利要求书

1.一种融合先验与自动脑电特征的情绪识别方法，其特征在于，该方法首先从原始脑电信号中提取与情绪相关的不同频率的差分熵特征，将其映射为差分熵矩阵，然后将不同频带的差分熵矩阵拼接为空频特征矩阵作为数学驱动的先验情绪特征；同时通过缩放卷积层自动提取原始脑电信号中的时频域信息作为数据驱动的自动脑电情绪特征；将数学驱动的先验情绪特征与数据驱动的自动脑电情绪特征进行变换后拼接，再进行融合，提取其高阶语义特征，最后送入柔性最大值激活函数对情绪进行识别分类；

该方法包括以下步骤：

步骤一，构建先验情绪特征：

从原始脑电信号中提取与情绪相关的不同频率的差分熵特征，依据电极空间位置将其映射为差分熵矩阵，然后将不同频带的差分熵矩阵拼接为空频特征矩阵，将其作为数学驱动的先验情绪特征；

步骤二，构建自动脑电情绪特征：

将原始的脑电信号逐通道送入独立的缩放卷积层，所有通道的输出结果拼接为一个三维张量作为以数据驱动的自动脑电情绪特征；

步骤三，特征融合：

对步骤一和步骤二所得到的先验情绪特征和自动脑电情绪特征进行特征变换，分别得到数学驱动的先验情绪特征向量和数据驱动的自动脑电情绪特征向量；将先验情绪特征向量和脑电情绪特征向量进行深度融合，提取高阶语义特征；

步骤四，分类识别：

将步骤三提取到的高阶语义特征送入柔性最大值激活函数对情绪进行识别分类；

所述步骤一包括如下步骤：

步骤1.1，利用傅里叶变换逐通道将原始脑电信号划分为(4-7Hz)、(8-15Hz)、(16-32Hz)和(33-45Hz)四个频段；

步骤1.2，逐通道计算步骤1.1中四个频段上的功率谱密度；

步骤1.3，对步骤1.2中四个频段上的功率谱密度进行对数函数非线性变换，得到其差分熵特征；

步骤1.4，按照脑电采集设备电极空间位置定义信息，将步骤1.3中同一频段上每一个脑电通道的差分熵特征与一个二维特征矩阵中欧氏距离最近的元素进行对应，其余没有脑电通道与之对应的二维特征矩阵元素统一设置为零；四个频段上每个脑电通道的差分熵特征映射得到四个频段的差分熵特征矩阵；

步骤1.5，将步骤1.4中所映射的四个频段的差分熵特征矩阵，按照从左至右、从上至下的方式依次拼接得到先验情绪特征；

所述步骤二包括如下步骤：

步骤2.1，将原始的脑电信号逐通道送入独立的缩放卷积层，每个通道得到一张具有时频信息的二维类时频图；

步骤2.2，在通道维度上将所有的类时频图进行堆叠拼接，得到一个三维张量作为以数据驱动的自动脑电情绪特征；

所述步骤三包括如下步骤：

步骤3.1，通过独立的三层卷积神经网络层和一层最大池化层，分别对先验情绪特征和数据驱动的自动脑电情绪特征进行特征变换，得到先验情绪特征向量和脑电情绪特征向量；

步骤3.2，将先验情绪特征向量和脑电情绪特征向量沿着列的方向拼接在一起，得到组合后的具有脑电时空频域信息的情绪特征向量；

步骤3.3，将步骤3.2最终得到的情绪特征向量输入至一个全连接神经网络层，提取融合先验与自动脑电情绪特征的高阶语义特征；

所述步骤四通过线性神经网络层和柔性最大值传输函数来对提取到的高阶语义特征进行分类识别，进而识别人的情绪状态。

2.一种融合先验与自动脑电特征的情绪识别系统，其特征在于，包括：

先验情绪特征构建模块，用以从原始脑电信号中提取与情绪相关的不同频率的差分熵特征，依据电极空间位置将其映射为差分熵矩阵，然后将不同频带的差分熵矩阵拼接为空频特征矩阵，将其作为数学驱动的先验情绪特征；

自动脑电情绪特征构建模块，用以将原始的脑电信号逐通道送入独立的缩放卷积层，所有通道的输出结果拼接为一个三维张量作为以数据驱动的自动脑电情绪特征；

特征融合模块，用以对先验情绪特征和自动脑电情绪特征进行特征变换，分别得到数学驱动的先验情绪特征向量和数据驱动的自动脑电情绪特征向量；并将先验情绪特征向量和脑电情绪特征向量进行深度融合，提取高阶语义特征；

分类识别模块，用以将取到的高阶语义特征送入柔性最大值激活函数对情绪进行识别分类。