[发明专利]一种基于长短时记忆机制的多模态个性化情感的处理方法

权利要求书

1.一种基于长短时记忆机制的多模态个性化情感的处理方法，其特征在于，包括信息的预处理与提取的方法、情感识别方法、和情感计算方法：

所述信息的预处理与提取的方法包括：

S110：信息采集，从多个音乐视频按积极的主题和消极的主题分类，将分出训练集和测试集；

S120：将音乐视频数据分为语义信息、视觉信息和听觉信息；

所述情感识别方法S210包括：

S2101：训练模型，提取各个多模态的特征，使用双向三模态的LSTM模型进行训练，

其中，表示上一时刻的共享隐含状态值，分别表示上一刻的三个双向LSTM模型的隐含状态值，分别表示当前时刻的三个双向LSTM模型的隐含状态值，分别表示当前时刻的三个双向LSTM模型的细胞状态，分别表示当前时刻的三个双向LSTM的输入门的结果值，且⊙为哈达玛积；

再各自回到自身的双向单模态LSTM中进行下一步操作，直到需要下一趟更新各自隐含状态；

S410：将所述三个双向LSTM的输出组织为七个不同的分类器，分别代表视听觉语义综合分类器、视听觉综合分类器、听觉语义综合分类器、视觉语义综合分类器、视觉单分类器、听觉语义单分类器和听觉语单分类器，对于每个MSU，经过特征提取以后分别进行全排列的分类器的训练，最后的得到七个输出；

所述情感计算方法包括：

S3101：情感三维输出，包括：

S31011：置信区间，计算组合输出的置信区间，组合输出为三维情感将其转换到三维情感空间，并转换到四维模糊敏感空间CS去计算置信区间，

S31012：综合置信决策，

S31013：输出三维情感；

S3102：输入三维情感，包括：

S31021：刺激物三维情感状态的置信区间；

S31022：引入重评参数，给定一个参数α的值，其中α代表一个人对外界刺激的评价是积极的还是消极的个性化因子；

S31023：修正情感状态转移矩阵，计算每个修正矩阵M的方法是，给定任意一个受外部刺激影响的状态转移矩阵，满足如下变化：

其中，Δ则表示非人格特征的影响部分，最后Ω定义为人格依赖部分，Ω为控制影响的程度，

其中，ω_i＝τ(α)·ξ(M_1,i-M_3,i)，

S3103：情感的输出

S31031：初始化当前情感

S31032：计算输出情感，将当前情感与情感转移矩阵做矩阵乘法；

S31033：输出情感状态。

2.根据权利要求1所述的基于长短时记忆机制的多模态个性化情感的处理方法，其特征在于，所述S120中的语义信息为所述多个音乐视频中的歌词语言上的特征；所述视觉信息包括镜头特征、色彩特征、帧间的动作强度特征；所述听觉信息包括对音频信号进行频谱分析的数据的统计量。

3.根据权利要求2所述的基于长短时记忆机制的多模态个性化情感的处理方法，其特征在于，所述S2101还包括：

对每一个MUS分片成n份，每一份进入双向单模态LSTM进行训练得到四个预测值：正向短时记忆预测、正向短时记忆分类、反向短时回忆预测、反向短时回忆分类，将所述四个预测值通过S2102进行计算，得出情感三维输出其中为正向分类，为反向分类。

4.根据权利要求1所述的基于长短时记忆机制的多模态个性化情感的处理方法，其特征在于，所述S410还包括：

将长记忆体作为一种影响因子去作用到双向全模态LSTM网络的情感分类输出Y，到LMFDB－LSTM的输出Y’，所述影响因子是多模态各自信息熵的均值函数：

其中映射采用sigmoid函数，作用到Y上的影响，如下式所示，

Y’＝Y±Ω·factorLM,Ω∈[0,0.1]

其中用Ω来控制影响的程度，+/－取决于该分类Y的正负性。