[发明专利]基于视频脑电信号的情绪识别方法、装置及计算机设备

说明书

本申请涉及一种基于视频脑电信号的情绪识别方法、装置、计算机设备及存储介质，其中该方法包括：在情绪诱发实验中同步采集训练所需的视频数据和脑电数据；根据患者的自我评估结果分别将对应的视频数据和脑电数据打上对应的情绪标签，并对所述脑电数据进行预处理；通过所述视频数据和脑电数据分别对CNN网络和ShallowConvNet网络进行模型训练得到训练好的面部表情识别模型和脑电情绪识别模型；当所述面部表情识别模型的识别结果和脑电情绪识别模型的识别结果的一致性达到预设的阈值时，则可作为最终的情绪识别结果。本发明可有效提高情绪识别的准确性，以便医护人员对患者的异常情绪状态及时进行疏导。

技术领域

本发明涉及智能识别技术领域，特别是涉及一种基于视频脑电信号的情绪识别方法、装置、计算机设备及存储介质。

背景技术

情绪识别原本是指个体对于他人情绪的识别，现多指AI通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分。情绪识别研究的内容包括面部表情、语音、心率、行为、文本和生理信号识别等方面，通过以上内容来判断用户的情绪状态。

目前，随着人工智能识别技术的发展，情绪识别技术已经开始逐步地在各个领域中展开应用，尤其是癫痫疾病涉及情绪障碍或者情绪相关的认知障碍，癫痫患者在住院监护期间的情绪异常表现应该引起医护人员的重视。这类人群的情绪识别仅仅通过面部表情识别并不一定可以得到准确的识别结果。此外，视频脑电图系统目前已广泛应用于医院神经外科的临床监护，其数字视频系统能记录和查看患者的图像视频和与声音同步的脑电波形，然而长时间的视频脑电记录仅供医疗工作者不定时查看和研究，医生对于患者异常表现通常不能及时知晓。

发明内容

基于此，有必要针对上述技术问题，提供一种基于视频脑电信号的情绪识别方法、装置、计算机设备及存储介质。

一种基于视频脑电信号的情绪识别方法，所述方法包括：

在情绪诱发实验中同步采集训练所需的视频数据和脑电数据；

根据患者的自我评估结果分别将对应的视频数据和脑电数据打上对应的情绪标签，并对所述脑电数据进行预处理；

通过所述视频数据和脑电数据分别对CNN网络和ShallowConvNet网络进行模型训练得到训练好的面部表情识别模型和脑电情绪识别模型；

通过所述训练好的面部表情识别模型和脑电情绪识别模型分别对患者的日常视频监控数据进行情绪识别；

当所述面部表情识别模型的识别结果和脑电情绪识别模型的识别结果的一致性达到预设的阈值时，则可作为最终的情绪识别结果。

在其中一个实施例中，所述在情绪诱发实验中同步采集训练所需的视频数据和脑电数据的步骤还包括：

选取能诱发出患者恐惧、悲伤和中性情绪的视频片段，并将所述视频片段编写成刺激呈现程序；

待患者插上电极后观看多个不同的视频片段，同步采集患者观看视频片段时的视频数据和脑电数据；

在每个片段结束后选择对应的情绪标签，并将患者选择的情绪标签记录在对应的视频片段中。

在其中一个实施例中，所述对所述脑电数据进行预处理的步骤还包括：

对脑电信号进行降采样；

选取与恐惧悲伤情绪相关的杏仁核、右侧颞极，以及与其他情绪相关的脑岛、眶额皮质和扣带前回皮质脑区部位通过电极进行脑电采集；

采用50Hz、100Hz的陷波进行滤波，采用0.5～120Hz的带通进行滤波；

使用EEGLAB的眼电干扰和肌电伪迹干扰去除功能去除眼电和肌电。