[发明专利]一种融合脑电和刺激源信息的视频情感分类方法及系统

说明书

本发明公开了一种融合脑电和刺激源信息的视频情感分类方法及系统，构建刺激源‑脑电信号数据集：让受试者观看视频片段，并使用脑电扫描仪采集受试者观看视频时的脑电信号，构建刺激源‑脑电信号数据集。构建多模态特征融合模型：对于训练数据集，分别提取视频特征及脑电信号特征，采用基于注意力机制的多模态信息融合方法生成融合向量。训练融合向量分类模型：将融合向量作为神经网络全连接层的输入进行预测；根据预测结果与真实标签的差异更新神经网络权重，训练神经网络。利用模型进行分类：采集受试者观看待分类视频时的脑电信号；提取视频特征及脑电信号特征，并进行融合；将融合向量输入训练好的神经网络，得到分类结果。

技术领域

本发明涉及多模态融合的视频情感分类领域，特别涉及一种融合脑电和刺激源信息的视频情感分类方法及系统。

背景技术

视频情感分类是计算机视觉研究方向的一大热点，也有着宽广的应用价值。在视频推荐系统中，通过计算用户观看视频的情感，获取其情感偏好，能够为其推荐更符合其偏好的视频。在舆情事件中，获取特定热点话题下的视频，计算视频的情感以便进行引导，建立正确的舆论导向，有利于营造和谐稳定的网络空间环境。此外，视频情感分类在视频分类、广告植入等方面也有着重要的意义。

因此本发明提出了一种融合脑电和刺激源信息的视频情感分类方法。该方法通过采集用户观看视频的脑电信号并融合视频刺激源信息对视频的情感进行分类。

现有技术1提出的视频情感分类方法包括：构建自适应融合网络模型；将输入的视频集人分为训练集和测试集，并获取视频集中每个视频的三个模态特征向量，所述的三个模态为RGB、光流和音频；对于训练集，分别将三个模态的特征向量输入自适应融合网络，并采用基于梯度的优化算法进行优化，得到训练好的自适应融合网络模型Model；对于测试集，将每个视频的特征向量输入训练好的网络模型Model，并预测视频情感进行分类。

现有技术2提出的情感分类方法包括：确定待分析视频中各个情感弹幕的弹幕情感标签；对所述待分析视频进行分割，得到各个待分析视频片段；依据每一个待分析视频片段中的各个弹幕情感标签，计算各个待分析视频片段的片段情感向量和情感熵；依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段。

现有技术3提出的情感分类方法包括：获得用户观看视频时的脑电图信号的时间序列数据；从获得的时间序列数据中选择分类特征；根据所述分类特征，对所述视频的视频情感进行分类。

现有技术1选取的三个模态均为视频本身的低级特征，且没有利用脑电信息。现有技术2仅关注到视频弹幕的情感，没有关注到视频本身的信息，同时，对于无弹幕视频片段，无法使用该方法进行分类。现有技术3只关注到用户观看视频产生的脑电信号，而没有关注视频本身的信息，导致分类效果不理想。

发明内容

本发明的目的在于提供一种融合脑电和刺激源信息的视频情感分类方法及系统，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种融合脑电和刺激源信息的视频情感分类方法，包括以下步骤：

步骤1，构建刺激源-脑电信号数据集：观看视频片段，并使用脑电扫描仪采集受试者观看视频时的脑电信号；根据视频标签、视频内容以及受试者脑电信号构建刺激源-脑电信号数据集；

步骤2，构建多模态特征融合模型：对于数据集，提取视频特征及脑电信号特征，并将两种模态的特征分别表示为时序特征向量；对于多模态时序特征向量，采用基于注意力机制的多模态信息融合方法生成融合向量；

步骤3，训练融合向量分类模型：对于生成的融合向量，将其作为神经网络全连接层的输入进行预测；根据预测结果与真实标签的差异更新神经网络权重，训练神经网络，待网络稳定后完成模型的训练；