[发明专利]基于视频脑电信号的情绪识别方法、装置及计算机设备

权利要求书

1.一种基于视频脑电信号的情绪识别方法，其特征在于，所述方法包括：

在情绪诱发实验中同步采集训练所需的视频数据和脑电数据；

根据患者的自我评估结果分别将对应的视频数据和脑电数据打上对应的情绪标签，并对所述脑电数据进行预处理；

通过所述视频数据和脑电数据分别对CNN网络和ShallowConvNet网络进行模型训练得到训练好的面部表情识别模型和脑电情绪识别模型；

通过所述训练好的面部表情识别模型和脑电情绪识别模型分别对患者的日常视频监控数据进行情绪识别；

当所述面部表情识别模型的识别结果和脑电情绪识别模型的识别结果的一致性达到预设的阈值时，则可作为最终的情绪识别结果。

2.根据权利要求1所述的基于视频脑电信号的情绪识别方法，其特征在于，所述在情绪诱发实验中同步采集训练所需的视频数据和脑电数据的步骤还包括：

选取能诱发出患者恐惧、悲伤和中性情绪的视频片段，并将所述视频片段编写成刺激呈现程序；

待患者插上电极后观看多个不同的视频片段，同步采集患者观看视频片段时的视频数据和脑电数据；

在每个片段结束后选择对应的情绪标签，并将患者选择的情绪标签记录在对应的视频片段中。

3.根据权利要求1所述的基于视频脑电信号的情绪识别方法，其特征在于，所述对所述脑电数据进行预处理的步骤还包括：

对脑电信号进行降采样；

选取与恐惧悲伤情绪相关的杏仁核、右侧颞极，以及与其他情绪相关的脑岛、眶额皮质和扣带前回皮质脑区部位通过电极进行脑电采集；

采用50Hz、100Hz的陷波进行滤波，采用0.5～120Hz的带通进行滤波；

使用EEGLAB的眼电干扰和肌电伪迹干扰去除功能去除眼电和肌电。

4.根据权利要求1所述的基于视频脑电信号的情绪识别方法，其特征在于，在所述通过所述训练好的面部表情识别模型和脑电情绪识别模型分别对患者的日常视频监控数据进行情绪识别的步骤之后还包括：

将采集到的日常视频进行人脸检测和人脸匹配处理，通过训练好的面部表情识别模型进行情绪识别；

对于情绪识别结果为连续一定时间段内都是恐惧或者悲伤的数据段，根据其时间点截取对应的脑电数据；

使用训练好的脑电情绪识别模型对截取的脑电数据进行情绪识别；

若截取的脑电数据的情绪识别结果与面部表情的情绪识别结果的匹配度达到80％，则将该时间段的脑电情绪识别结果作为最终的情绪标签进行标识。

5.一种基于视频脑电信号的情绪识别装置，其特征在于，所述装置包括：

采集模块，所述采集模块用于在情绪诱发实验中同步采集训练所需的视频数据和脑电数据；

预处理模块，所述预处理模块用于根据患者的自我评估结果分别将对应的视频数据和脑电数据打上对应的情绪标签，并对所述脑电数据进行预处理；

模型训练模块，所述模型训练模块用于通过所述视频数据和脑电数据分别对CNN网络和ShallowConvNet网络进行模型训练得到训练好的面部表情识别模型和脑电情绪识别模型；

识别模块，所述识别模块用于通过所述训练好的面部表情识别模型和脑电情绪识别模型分别对患者的日常视频监控数据进行情绪识别；

结果判定模块，所述结果判定模块用于当所述面部表情识别模型的识别结果和脑电情绪识别模型的识别结果的一致性达到预设的阈值时，则可作为最终的情绪识别结果。

6.根据权利要求5所述的基于视频脑电信号的情绪识别装置，其特征在于，所述采集模块还用于：

选取能诱发出患者恐惧、悲伤和中性情绪的视频片段，并将所述视频片段编写成刺激呈现程序；

待患者插上电极后观看多个不同的视频片段，同步采集患者观看视频片段时的视频数据和脑电数据；

在每个片段结束后选择对应的情绪标签，并将患者选择的情绪标签记录在对应的视频片段中。