[发明专利]一种基于弱监督多模态深度学习的微博情感预测方法

权利要求书

1.一种基于弱监督多模态深度学习的微博情感预测方法，其特征在于包括以下步骤：

步骤1微博多模态数据预处理；

步骤2多模态深度学习模型的弱监督训练；

步骤3多模态深度学习模型的微博情感预测。

2.如权利要求1所述一种基于弱监督多模态深度学习的微博情感预测方法，其特征在于在步骤1中，所述微博多模态数据预处理的具体方法为：对爬取的微博数据进行去重操作，过滤掉微博内容中的标签符号和外部链接，使用中科院自动分词工具ICTCLAS对微博文本内容进行分词；将表情符号作为噪声标签，即表情符号类别，收集文本语料里所有的表情符号，然后筛选出高频使用的49个表情符号，再为每条微博构建表情符号词袋模型作为表情符号类别，通过人工标注微博数据的情感极性来获取干净的标签，所述情感极性的类别包括正极性、负极性、中性。

3.如权利要求1所述一种基于弱监督多模态深度学习的微博情感预测方法，其特征在于在步骤2中，所述多模态深度学习模型的弱监督训练的具体方法为：

(1)计算样本的文本模态和图像模态的情感类别概率输出，对于文本模态，首先使用词向量转换算法将词表中的每个词转换成一个特定的向量，然后将每个句子中的所有词向量整合成一个矩阵表示，将这个矩阵输入到动态卷积神经网络中，输出文本模态下情感极性类别的概率分布；对于图像模态，直接将图像输入到预训练好的深度卷积神经网络中，通过修改最后一层的网络输出结构，最终输出图像模态下情感极性类别的概率分布；

(2)计算文本模态情感预测和图像模态情感预测的一致性，通过交叉熵计算文本模态下情感极性类别的概率输出与图像模态下情感极性类别的概率输出之间的一致性概率分布，利用非线性函数，将一致性概率分布转化为一致性概率值，该值反映了当前样本中文本和图像的情感属性是否一致，便于模型的更好训练；所述非线性函数采用Sigmoid函数；

(3)计算模型预测的情感概率分布和估计的真实情感概率分布之间的交叉熵损失并行性参数优化，首先将样本的表情符号类别作为观测变量，将情感概率分布作为隐变量，构建多模态噪声模型的概率图模型；然后通过使用最大期望算法求取模型预测的情感概率分布和估计的真实情感概率分布之间的交叉熵损失；最后利用反向传播算法，将损失通过梯度的方式进行反向传播进而优化多模态噪声模型、DCNN模型和CNN模型的参数；

(4)重复步骤(1)～(3)，直到损失收敛到合理区间，进而获得最佳的多模态噪声模型、DCNN模型和CNN模型的参数，完成基于弱监督多模态深度学习的微博情感预测模型的训练过程。

4.如权利要求1所述一种基于弱监督多模态深度学习的微博情感预测方法，其特征在于在步骤3中，所述多模态深度学习模型的微博情感预测的具体方法为：将待预测微博的文本经过预处理并经过词向量的转化最终输入到训练好的DCNN模型中，输出文本模态的情感类别的概率分布，将微博的图像输入到训练好的CNN模型中，输出图像模态的情感类别的概率分布，将表示两个概率分布的两个向量和表情符号向量组成新的特征向量，经过Softmax分类器，实现最终多模态的情感类别预测。