[发明专利]一种基于LDA和随机森林的微博谣言识别方法

权利要求书

1.一种基于LDA和随机森林的微博谣言识别方法，其特征在于，包括以下步骤：

步骤1，使用爬虫方法从微博官方平台上收集微博数据，所述微博数据包括文本内容、点赞数、转发数、评论数、微博数、关注数、粉丝数、认证状态、谣言状态，根据微博官方平台和国家部门发布的谣言信息对微博数据进行人工标注；

步骤2，根据步骤1中所述文本内容进行无关字符过滤、文本分词、去停用词、数据变换处理，从而获得优化文本内容以及优化文本内容词语，并统计优化文本内容词语的数量，通过优化文本内容、优化文本内容词语、优化文本内容词语的数量以及z-score标准化处理步骤1中所述的点赞数、转发数、评论数、微博数、关注数、粉丝数从而得到z-score标准化微博数据，并根据z-score标准化微博数据计算用户可信度特征和微博影响力特征；

步骤3，通过LDA主题模型对步骤2所述优化文本内容以及优化文本内容词语进行建模计算，从而获得LDA主题分布概率、LDA优化文本内容与主题分布概率以及LDA优化文本内容词语与主题分布概率，将LDA优化文本内容与主题分布概率作为谣言识别的文本深层语义特征，并根据LDA优化文本内容与主题分布概率以及LDA优化文本内容词语与主题分布概率计算困惑度；

步骤4，根据步骤2中所述用户可信度特征、步骤2中所述微博影响力特征、步骤3中所述LDA主题分布概率，构建微博特征向量；

步骤5，根据步骤2中所述用户可信度特征、步骤2中所述微博影响力特征、步骤3中所述LDA优化文本内容与主题分布概率作为随机森林模型的输入特征，使用10折交叉验证的网格搜索算法计算基于CART决策树的随机森林模型的最优参数，所述最优参数结合步骤4中所述微博特征向量设计微博谣言分类器，并根据步骤1中所述人工标注的微博数据进行训练得到最终微博谣言分类器，应用于谣言甄别工作；

步骤1中所述微博数据为：

weibo_i＝{doc_i,like_i,repost_i,comment_i,num_i,following_i,follower_i,verify_i,fake_i}，1≤i≤M；

其中，M为微博数据的条数，i为微博数据的序号，doc_i为文本内容，like_i为点赞数，repost_i为转发数，comment_i为评论数，num_i为微博数，following_i为关注数，follower_i为粉丝数，verify_i为认证状态，fake_i为谣言状态；

步骤1中所述人工标注为：

通过微博官方平台来对用户状态进行认证，verify_i表示发布weibo_i的用户是否通过新浪微博个人认证，若通过，则verify_i为1，否则verify_i为0，通过国家部门发布的谣言信息对微博数据进行谣言标记，若微博weibo_i为谣言微博，则fake_i为1，否则fake_i为0；

步骤2中所述z-score标准化微博数据为：

z_weibo_i＝{op_doc_i,op_word_i,op_n_i,z_like_i,z_repost_i,z_comment_i,z_num_i,z_following_i,z_follower_i,verify_i,fake_i}，1≤i≤M；

其中，op_doc_i为优化文本内容，op_word_i为优化文本内容词语，op_n_i为优化文本内容词语的数量，z_like_i为z-score标准化点赞数，z_repost_i为z-score标准化转发数，z_comment_i为z-score标准化评论数，z_num_i为z-score标准化微博数，z_following_i为z-score标准化关注数，z_follower_i为z-score标准化粉丝数；

步骤2中所述用户可信度特征为：

步骤2中所述微博影响力特征为：

步骤3中所述困惑度为：

D＝{op_word₁,...,op_word_M}

pweibo_i＝(p_i,1,...,p_i,K)，1≤i≤M；

其中，M为步骤1中所述微博数据的条数，op_n_i为步骤2中所述优化文本内容词语的数量，op_word_i为步骤2中所述优化文本内容词语，p(op_word_i)为优化文本内容中优化文本内容词语的概率，D表示全部优化文本内容词语的集合，p(z_j|op_doc_i)为步骤2中第i条z-score标准化微博数据的优化文本内容中第j个主题出现的概率，p(op_word_i|z_j)是第j个主题中步骤2中第i条z-score标准化微博数据的优化文本内容词语出现的概率，K为困惑度perplexity最小时的主题个数，pweibo_i为步骤2中第i条z-score标准化微博数据的LDA主题分布概率，p_i,1～p_i,K分别为z₁～z_K主题的概率；

步骤4中所述微博特征向量为：

cweibo_i＝(p_i,1,...,p_i,K,Reliability_i,Influence_i)，1≤i≤M；

其中，M为步骤1中所述微博数据的条数，Reliability_i为步骤2中所述用户可信度特征，Influence_i为步骤2中所述微博影响力特征。