[发明专利]一种基于弱监督多模态深度学习的微博情感预测方法

说明书

一种基于弱监督多模态深度学习的微博情感预测方法，涉及多模态情感分析领域。包括以下步骤：微博多模态数据预处理；多模态深度学习模型的弱监督训练；多模态深度学习模型的微博情感预测。解决了在微博多通道内容上的情感预测中存在的多模态判别表示和数据标签受限等问题，实现最终多模态的情感类别预测，实验评价标准为准确度，反映了预测的微博情感极性类别与事先标注的情感类别之间的一致程度。在性能上有较大的提升，考虑到多模态之间的关联性，因此在整体的多模态性能上取得最优的效果。在不同情感类别上都取得较为理想的分类效果。经过弱监督训练，使得文本和图像模态的初始模型在情感分类上效果有明显的提升。

技术领域

本发明涉及多模态情感分析领域，尤其是涉及一种基于弱监督多模态深度学习的微博情感预测方法。

背景技术

近来，随着新浪微博等大型社交平台的迅速发展，每天社交网络的多媒体数据规模不断增长，以新浪微博为例，截止2016年3月，新浪微博月活跃用户达到2.6亿。作为最受欢迎的平台之一，新浪微博使得互联网用户能够在他们感兴趣的话题下表达他们的情感。因此，它吸引了大量的关于情感信息挖掘的研究，这些研究涉及一些新兴的应用包括事件检测、社交网络分析和商业推荐。

微博发展的一个明显特征在于多模态信息的增长，比如图像、视频、短文本以及丰富的表情符号。认知方面的研究也揭示不同的模态有它们特有的特征(如在符号学方面，语义层面，和认知层面)。这启发我们从多模态层面分析微博的情感。然而，预测多模态微博情感的依然是一个未解决的问题。关键的挑战有两个方面，一方面在于跨多个模态的判别表示的学习，另一方面在于情感分析受限于足够样本标签数据的获取。

当前，微博情感分析方法主要利用纯文本通道信息，比如《一种基于大规模语料特征学习的微博情感分析方法(中国专利CN201510310710.9)》、《基于规则和统计模型的中文微博情感分析方法(中国专利CN201510127310.4)》、《一种融合显性和隐性特征的中文微博情感分析方法(中国专利CN201410723617.6)》、《一种中文微博的情感倾向分析方法(中国专利CN201310072472.3)》、《基于卷积神经网络的中文微博文本情绪分类方法及其系统(中国专利CN201710046072.3)》。然而，由于微博文本具有结构随意，内容较少等特点，单从简单的纯文本通道进行微博情感类别分析难度大，情感预测的准确度低。《一种面向微博短文本的情感分析方法(中国专利CN201210088366.X)》提出一种短文本情感分析方法，但是其面向特定领域和特定主题，不具有普适性。《一种利用表情符号对微博进行情感倾向分类的方法(中国专利CN201310664725.6)》提出基于表情符号词典使用朴素贝叶斯方法构建中性情感分类器和极性情感分类器的方法进行微博情感分类，然而含有表情符号的微博仅占32％，利用表情符号单一通道进行微博情感预测难以适用于所有微博。《基于表情分析和深度学习的社交网络情感分析方法(中国专利CN201611035151.6)》提出一种利用表情符号作为标签数据进行监督学习的微博情感预测方法，然而由于表情符号在情感分类中存在精度偏差，最终训练到的模型在情感分类效果上并不理想。同时由于该方法无法挖掘到文本、表情和情感标签之间的内在关联，因此很难学到具有判别性的多模态的表示。《一种基于微博群环境的微博多模态情感分析方法(中国专利CN201410006867.8)》提出的多模态情感分析方法还是基于单一文本通道上的微博原文本和评论文本。《一种基于情感极性感知算法的跨媒体微博舆情分析方法(中国专利CN201611128106.5)》和《一种基于多模态超图学习的微博情感预测方法(中国专利CN201611128388.9)》提出了多模态的情感预测方法，然而这些方法都受限于足够的样本标签数据的获取，训练到的模型在情感分类效果上并不理想。