[发明专利]一种针对单一舆情事件评论中高频词语的判断方法

说明书

本发明公开了一种针对单一舆情事件评论中高频词语的判断方法，涉及数据处理技术领域，利用过滤算法、切分算法、统计算法对网民评论进行热门词汇统计，在网民评论热词统计方面，较以往实现了高细粒度、高准确度、未登录词识别精准、长短语准确切分保留、句词转换识别歧义并解决歧义、单字词汇等无意义词汇准确剔除等优点。在某些关键短语被切分成词时，本发明算法有部分黏合效果，提高高频词语判断的准确率和召回率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种针对单一舆情事件评论中高频词语的判断方法。

背景技术

对于舆情信息，网民评论将依据舆情事件的性质和关注焦点的不同而产生不同的影响，但在同一网络舆情热点事件中，网民的行为影响往往不是单一的，而是多种舆论效应交互作用并内聚强化的复合体。应随时关注跟踪网民的舆论动向，正确认识和剖析网民行为背后的动机，可为舆情处置提供直观的网民评论焦点。

现有的普通词云热词统计算法较为传统，在停用词、单字词汇过滤、多字词汇权重等方面存在缺陷与不足，在高频词统计中，对于未登录词无法正确地从句子中切分，影响统计效果。

针对现有技术存在的问题，本申请提供了一种针对单一舆情事件评论中高频词语的判断方法，解决传统词频分析中高频词统计误差、停用词有限且无法识别表情、多字短语被迫切分、单字词汇词频高、由句到词时切割不准确等问题。

发明内容

本发明的目的在于提供一种针对单一舆情事件评论中高频词语的判断方法，解决传统词频分析中高频词统计误差、停用词有限且无法识别表情、多字短语被迫切分、单字词汇词频高、由句到词时切割不准确等问题。

本发明提供了一种针对单一舆情事件评论中高频词语的判断方法，包括以下步骤：

采集单一舆情的网络用户评论；

基于统计词典构造前缀词典，根据前缀词典对输入的网络用户评论语句进行切分，输出所有的切分结果；

根据切分结果生成网络用户评论语句中汉字成词情况所构成的有向无环图；

查找有向无环图中的最大概率路径，找出基于词频的最大切分组合，并输出切分成词的语句；

对切分成词的语句进行多字短语的权重提升；

过滤权重提升后的语句中的单字及无意义词汇；

基于TF-IDF和TextRank的算法，抽取出高词频的关键词并输出。

进一步地，对网络用户评论的逐条过滤包括：

去除评论中停用词：根据大数据调整停用词词典，创建停用词列表，过滤掉网络用户评论中不符合要求的字或词；

去除评论中的Emoji表情：建立Emoji表情过滤正则表达式，替换为符合Emoji表情规则的文本。

进一步地，若遇到统计词典中未收录的词，则使用基于汉字成词能力的HMM模型，套用Viterbi算法对其进行语句分割。

进一步地，TF-IDF算法中词频TF表示关键词在文档中出现的频率，逆文档频率IDF反映关键词的普遍程度。

进一步地，关键词在文档中出现的TF-IDF值表示为：

其中，w表示关键词，D_i表示文档。

进一步地，TextRank算法通过词之间的相邻关系构建网络，用PageRank迭代计算每个节点的rank值，对rank值排序得到关键词，基于不同词对有不同的共现，TextRank将共现作为无向图边的权值。

进一步地，TextRank的迭代计算公式如下：