[发明专利]一种针对单一舆情事件评论中高频词语的判断方法

权利要求书

1.一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，包括以下步骤：

采集单一舆情的网络用户评论；

基于统计词典构造前缀词典，根据前缀词典对输入的网络用户评论语句进行切分，输出所有的切分结果；

根据切分结果生成网络用户评论语句中汉字成词情况所构成的有向无环图；

查找有向无环图中的最大概率路径，找出基于词频的最大切分组合，并输出切分成词的语句；

对切分成词的语句进行多字短语的权重提升；

过滤权重提升后的语句中的单字及无意义词汇；

基于TF-IDF和TextRank的算法，抽取出高词频的关键词并输出。

2.如权利要求1所述的一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，对网络用户评论的逐条过滤包括：

去除评论中停用词：根据大数据调整停用词词典，创建停用词列表，过滤掉网络用户评论中不符合要求的字或词；

去除评论中的Emoji表情：建立Emoji表情过滤正则表达式，替换为符合Emoji表情规则的文本。

3.如权利要求1所述的一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，若遇到统计词典中未收录的词，则使用基于汉字成词能力的HMM模型，套用Viterbi算法对其进行语句分割。

4.如权利要求1所述的一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，TF-IDF算法中词频TF表示关键词在文档中出现的频率，逆文档频率IDF反映关键词的普遍程度。

5.如权利要求4所述的一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，关键词在文档中出现的TF-IDF值表示为：

其中，w表示关键词，D_i表示文档。

6.如权利要求1所述的一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，TextRank算法通过词之间的相邻关系构建网络，用PageRank迭代计算每个节点的rank值，对rank值排序得到关键词，基于不同词对有不同的共现，TextRank将共现作为无向图边的权值。

7.如权利要求6所述的一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，TextRank的迭代计算公式如下：

其中，WS(V_i)表示结点V_i的rank值，In(V_i)表示结点V_i的前驱结点集合，Out(V_j)表示结点V_j的后继结点集合，d为damping factor用于做平滑，权重项W_ji用来表示两个节点之间的边连接有不同的重要程度。

8.如权利要求1所述的一种针对单一舆情事件评论中高频词语的判断方法，其特征在于，若提取出的若干关键词在文本中相邻，则构成一个被提取的关键短语。