[发明专利]基于N170的情绪识别方法及识别系统

权利要求书

1.一种基于N170的情绪识别系统，包括信号采集模块、信号处理模块、分支卷积神经网络BCNN模型训练模块、识别模块和反馈模块，其特征在于，

所述信号采集模块用于采集用户的脑电数据；

信号处理模块用于对采集的脑电数据进行预处理；

分支卷积神经网络BCNN模型训练模块用于训练分支卷积神经网络BCNN模型；

分支卷积神经网络BCNN模型的结构包括：输入层、时间卷积层、并行卷积分支层、全连接层和输出层；

所述输入层用于输入预处理后的用户脑电数据；

所述时间卷积层的卷积核个数为16个，大小为1×15；

所述并行卷积分支层包括空间卷积分支和时间卷积分支，空间卷积分支对脑电信号进行空间上的卷积，时间卷积分支对脑电信号进行时间上的卷积；

所述全连接层对两个并行卷积分支层的两个输出拉平拼接；

所述输出层对提取到的特征进行分类并输出；

空间卷积分支包括两个卷积层，第一个为深度卷积，卷积核大小为C×1，其中C为通道数，后面跟一个1×3的最大池化层；第二个为分离卷积，卷积核个数为32个，卷积核大小为1×10，后面跟一个1×3的最大池化层；

所述时间卷积分支包含三个相同的块，每个块由深度卷积、普通卷积和最大池化层组成；深度卷积大小分别为：1×10,1×5和1×5；普通卷积的个数分别为16,32和32，大小分别为1×10,1×5和1×5，最大池化大小均为1×3；

识别模块用于对实时采集的脑电数据进行分类，并根据分类结果识别用户当前的情绪状态；

反馈模块根据用户当前的情绪状态进行相应的情绪调节动作。

2.根据权利要求1所述的一种基于N170的情绪识别系统，其特征在于，信号处理模块对采集的用户脑电数据进行预处理包括：坏道插值、平滑滤波、伪迹剔除、重参考、分段和基线矫正处理。

3.一种基于N170的情绪识别方法，包括离线训练阶段和在线识别阶段，其特征在于，包括以下步骤：

离线训练阶段：

S1、使用情绪面孔图片对用户进行刺激，使用户识别面孔情绪并产生N170，通过信号采集模块采集用户脑电数据，通过信号处理模块对采集的用户脑电数据进行预处理，得到预处理后的用户脑电数据，同时统计用户直接反馈的情绪面孔图片对应的面孔情绪识别结果；

S2、将预处理后的用户脑电数据和用户反馈的面孔情绪识别结果输入分支卷积神经网络BCNN模型进行训练，分支卷积神经网络BCNN模型输出用户脑电数据的分类，根据分类结果将脑电数据类别与情绪面孔图片一一对应，使脑电数据类别与情绪面孔图片产生固定的对应关系，当对应关系不再变化时，得到训练好的分支卷积神经网络BCNN模型；

在线识别阶段：

在用户进行面孔情绪识别时，实时采集用户脑电数据并通过信号处理模块进行预处理后，输入训练好的分支卷积神经网络BCNN模型，分支卷积神经网络BCNN模型对用户的脑电数据进行分类，输出脑电数据的分类结果，根据脑电数据的分类结果，从脑电数据类别与情绪面孔图片的固定对应关系中识别用户当前的情绪状态，反馈模块根据用户当前的情绪状态进行相应的情绪调节动作，若检测出用户当前情绪为负情绪，则通过反馈模块播放正情绪音乐进行相应的情绪调节

分支卷积神经网络BCNN模型的结构包括：输入层、时间卷积层、并行卷积分支层、全连接层和输出层；

所述输入层用于输入预处理后的用户脑电数据；

所述时间卷积层的卷积核个数为16个，大小为1×15；

所述并行卷积分支层包括空间卷积分支和时间卷积分支，空间卷积分支对脑电信号进行空间上的卷积，时间卷积分支对脑电信号进行时间上的卷积；

所述全连接层对两个并行卷积分支层的两个输出拉平拼接；

所述输出层对提取到的特征进行分类并输出；

空间卷积分支包括两个卷积层，第一个为深度卷积，卷积核大小为C×1，其中C为通道数，后面跟一个1×3的最大池化层；第二个为分离卷积，卷积核个数为32个，卷积核大小为1×10，后面跟一个1×3的最大池化层；

所述时间卷积分支包含三个相同的块，每个块由深度卷积、普通卷积和最大池化层组成；深度卷积大小分别为：1×10,1×5和1×5；普通卷积的个数分别为16,32和32，大小分别为1×10,1×5和1×5，最大池化大小均为1×3。