[发明专利]一种融合脑电和刺激源信息的视频情感分类方法及系统

权利要求书

1.一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，包括以下步骤：

步骤1，构建刺激源-脑电信号数据集：观看视频片段，并使用脑电扫描仪采集受试者观看视频时的脑电信号；根据视频标签、视频内容以及受试者脑电信号构建刺激源-脑电信号数据集；

步骤2，构建多模态特征融合模型：对于数据集，提取视频特征及脑电信号特征，并将两种模态的特征分别表示为时序特征向量；对于多模态时序特征向量，采用基于注意力机制的多模态信息融合方法生成融合向量；

步骤3，训练融合向量分类模型：对于生成的融合向量，将其作为神经网络全连接层的输入进行预测；根据预测结果与真实标签的差异更新神经网络权重，训练神经网络，待网络稳定后完成模型的训练；

步骤4，利用模型进行分类：对于待分类视频，采集受试者观看视频时的脑电信号；提取视频特征及脑电信号特征，并采用基于注意力机制的多模态信息融合方法生成融合向量；将融合向量输入训练好的神经网络，网络的输出向量为各类情感类别的概率，选择概率最大的情感类别作为视频情感分类的结果；

步骤2中，时序特征向量：

将刺激源-脑电信号数据集划分为训练集和测试集，对于训练集的视频数据，按照1s的时间间隔提取视频的图像，并使用ResNet网络分别提取这些图像的特征，将特征按照时间步拼接得到时序特征向量；对于脑电信号，采用小波变换方式进行特征提取，得到时序特征向量；

步骤2中，将多模态特征向量通过基于注意力机制的多模态信息融合方法进行有机结合，生成时序融合向量；融合模型采用基于RNN循环神经网络编码器-解码器结构，对于每一时间步，编码器将多模态时序特征数据加权融合成一个中间语义表示，将语义表示输入解码器网络，经过解码得到当前时间步的融合特征，并由解码器隐藏状态更新特征融合权重，实现注意力机制；对所有时间步进行操作，最终得到时序融合向量。

2.根据权利要求1所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，构建刺激源-脑电信号数据集具体为：

收集视频，为受试者佩戴62通道脑电扫描仪，待信号稳定后让受试者观看刺激源视频，采集受试者脑电信号；对采集得到的脑电数据进行清洗，并将视频标签、内容以及受试者脑电信号存入数据库中，构建刺激源-脑电信号数据集。

3.根据权利要求2所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，收集来自互联网上的视频片段，包含情感为积极、消极以及中立的视频，且三者数量相同，每段视频时长为3～5分钟。

4.根据权利要求1所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，步骤3中，训练融合向量分类模型具体为：

对于上一步生成的时序融合向量，将其作为神经网络全连接层的输入进行预测，并使用Softmax函数对结果进行归一化；使用基于Softmax的交叉熵作为损失函数，交叉熵越低说明预测结果与标签越相近，使用随机梯度下降法更新神经网络权值，训练神经网络，待网络稳定后完成模型的训练。

5.根据权利要求1所述的一种融合脑电和刺激源信息的视频情感分类方法，其特征在于，步骤4中，利用模型进行分类具体为：

对于待分类视频，为受试者佩戴62通道脑电扫描仪，待信号稳定后让受试者观看该视频，同时采集受试者脑电信号；采集完毕后进行数据清洗，并将脑电信号以及视频信息输入多模态特征融合模型生成时序融合向量；将融合向量输入分类模型中进行分类，输出结果经过Softmax函数得到各类情感类别的概率，选择概率最大的情感类别作为视频情感分类的结果。

6.一种融合脑电和刺激源信息的视频情感分类系统，其特征在于，基于权利要求1至5任意一项所述的一种融合脑电和刺激源信息的视频情感分类方法，包括

刺激源-脑电信号数据集构建模块用于根据视频标签、视频内容以及受试者脑电信号构建刺激源-脑电信号数据集；

多模态特征融合模型构建模块用于对于数据集，提取视频特征及脑电信号特征，并将两种模态的特征分别表示为时序特征向量；对于多模态时序特征向量，采用基于注意力机制的多模态信息融合方法生成融合向量；

融合向量分类模型训练模块用于对于生成的融合向量，将其作为神经网络全连接层的输入进行预测；根据预测结果与真实标签的差异更新神经网络权重，训练神经网络，待网络稳定后完成模型的训练；

模型分类模块用于对于待分类视频，采集受试者观看视频时的脑电信号；提取视频特征及脑电信号特征，并采用基于注意力机制的多模态信息融合方法生成融合向量；将融合向量输入训练好的神经网络，网络的输出向量为各类情感类别的概率，选择概率最大的情感类别作为视频情感分类的结果；

时序特征向量：

将刺激源-脑电信号数据集划分为训练集和测试集，对于训练集的视频数据，按照1s的时间间隔提取视频的图像，并使用ResNet网络分别提取这些图像的特征，将特征按照时间步拼接得到时序特征向量；对于脑电信号，采用小波变换方式进行特征提取，得到时序特征向量；

将多模态特征向量通过基于注意力机制的多模态信息融合方法进行有机结合，生成时序融合向量；融合模型采用基于RNN循环神经网络编码器-解码器结构，对于每一时间步，编码器将多模态时序特征数据加权融合成一个中间语义表示，将语义表示输入解码器网络，经过解码得到当前时间步的融合特征，并由解码器隐藏状态更新特征融合权重，实现注意力机制；对所有时间步进行操作，最终得到时序融合向量。