[发明专利]一种基于社交媒体内容和结构的用户实时观点检测方法

说明书

本发明公开了一种基于社交媒体内容和结构的用户实时观点检测方法，该方法主要包括：基于微博API和哈希标签实时地爬取事件相关的微博以及微博作者的社交网络信息；基于微博文本和用户的社交网络信息，利用哈希标签和远程监督技术生成训练数据；基于动态神经网络模型训练，完成用户级别的动态观点检测。本发明不需要大量标注语料，可以预测用户在下个时间段的关于某一主题的立场，得益于循环神经网络对用户行为的模拟，有着更高的准确率；可以在用户语料缺失的情况下利用社交网络信息预测用户观点；可以在获得新的微博数据，动态地在已训练好的动态神经网络上进行迭代，避免了从头开始训练费时的问题。

技术领域

本发明涉及一种基于社交媒体内容和结构的用户实时观点检测方法，属于信息处理技术领域。

背景技术

社交媒体实时观点预测(Dynamic Opinion Prediction)，又称用户级别的动态立场预测，是指为微博中的每一个用户标注一个正确的观点，用户的观点由两部分组成，第一部分是用户讨论或关心的主题，第二部分是用户的立场。正确、及时和高效地预测用户观点，不仅有助于掌握社会舆情和政府决策，具有深远的社会价值，而且有利于企业制定合适的市场策略，具有重要的市场研究价值。目前，社交媒体为社会公众提供了前所未有的舆论表达新手段和自由的公共事务讨论新空间，已成为现今社会内容文本和网络数据的重要载体，反映了社会的舆论趋势、汇集了民意。特别是近几年，随着以推特，脸书，新浪微博和微信等社交平台的迅猛发展，用户的社会关系和用户发表的文本信息量急剧增长，如何利用这些结构数据和内容数据进行正确而高效的观点预测，是目前面临的一大挑战。

当前的用户级别的观点预测方法按照特征提取方法可以分为基于纯文本的观点预测方法、基于社交网络结构的观点预测方法以及基于文本上下文注意力机制的观点预测方法，按照分类器类型可以分为静态观点预测方法和动态观点预测方法。现有的比较成熟的方法大多面向纯文本，把观点预测看作一个文本分类的问题，使用长短时记忆神经网络(LSTM)和条件随机场(CRF)对社交网络用户进行立场分类。少数工作只考虑用户关系信息，把用户观点看作一个影响力在加权网络上传播的过程。也有一些工作考虑了文本之间的主题相关性，引入了上下文注意力(Attention)的概念，认为主题相近的微博文本用户的关注度较高，从而提高了文本分类的准确率和召回率。关于分类器类型的选择，就目前已有的研究方法而言，基于动态分类器的用户观点检测很少，有且仅限于概率图模型，而且面向文本级别进行分类。

发明内容

发明目的：为了填补融合社交网络结构和内容进行用户观点预测研究的不足，本发明提供一种基于社交媒体内容和结构的用户实时观点检测方法，能够解决社交网络特有的用户观点预测实时性的问题；能够整合用户关系和用户微博文本这两种模态的信息，旨在提升用户观点检测的准确率。

技术方案：为实现上述目的，本发明采用了实时抓取社交媒体数据、预处理整合网络结构和文本内容、动态训练神经网络和预测用户观点的技术方案，所述的基于社交媒体内容和结构的用户实时观点检测方法，包括以下步骤：

(1)抓取微博文本并分析得到微博作者，抓取作者的社交网络信息；

(2)构建用户级别的社交媒体数据库，包括社交网络结构数据库和社交网络文本数据库，分别存储社交网络结构数据和文本数据；

(3)进行面向社交网络结构与文本内容的预处理，包括：首先对社交网络文本数据库中的微博按照发布时间排序，然后以设定时间为单位进行分割，得到以时间为区分的文本数据块；接着对社交网络结构数据库中的用户用哈希表进行存储；最后对每个以时间为单位的文本数据块，遍历每条微博，得到活跃过的用户ID集合以及用户最近发的设定条数的微博，然后遍历每条微博并输出，每次输出用户最近发的1条微博时，伴随着同时输出他的邻居们最近发的设定条数的微博；