[发明专利]一种小语种国家的舆情信息文本处理方法

说明书

本发明提供一种小语种国家的舆情信息文本处理方法。本发明方法，包括如下步骤：将小语种文本翻译为英文，再根据英文文本翻译为中文文本；基于隐马尔可夫模型对中文文本进行分词处理；对全部分词语料进行清洗，将不利于判断有效信息、重复出现的非语素词全部清洗掉；计算各个分词的词频逆文本词频值，将词频逆文本词频值低于设定阈值的非关键词删除，通过保留的词组建分析语料库。本发明可将舆情监测范围大大提高，沿线各小语种国家的信息都可被该模型进行实时监测分析。本发明将难以进行准备切分的新闻性文本，进行了高准确度的分词清洗。经人工检测后，非有效信息的出现率及有效信息的误排率都极低。

技术领域

本发明涉及文本处理技术领域，具体而言，尤其涉及一种小语种国家的舆情信息文本处理方法。

背景技术

现有市面上对舆情信息的处理的方法，主要侧重于微博端或其他社交媒体端的用户发言及评论。其文本本身的体量小、结构简单。而对于小语种国家相关的政治经济类新闻文本，其文本的体量大、结构复杂，有效信息隐蔽。且市面上的舆情监测对象基本都为国内的社交媒体及自媒体。对于小语种国家的舆情进行监控是缺失的。

发明内容

根据上述提出的技术问题，而提供一种小语种国家的舆情信息文本处理方法。

本发明采用的技术手段如下：

一种小语种国家的舆情信息文本处理方法，包括如下步骤：

将小语种文本翻译为英文，再根据英文文本翻译为中文文本；

基于隐马尔可夫模型对中文文本进行分词处理；

对全部分词语料进行清洗，将不利于判断有效信息、重复出现的非语素词全部清洗掉；

计算各个分词的词频逆文本词频值，将词频逆文本词频值低于设定阈值的非关键词删除，通过保留的词组建分析语料库。

进一步地，所述隐马尔可夫模型具体表达式为：

P(x_t|x_t-1，x_t-2，…，x₁，y₁，…，y_t-1)＝P(x_t|x_t-1)

其中，x_t为t字本身的状态，x_t-1为t字后面一字的状态，y₁为x₁所能组成的第一种词的状态。

进一步地，在分词处理过程中，优先将相关关键词汇进行分词，将相关关键词以字典的形式载入分词过程，并将关键词以优先级进行关键值赋值。

进一步地，所述计算各个分词的词频逆文本词频值具体为：

整体的tf-idf计算规则为：

其中，TF(w)表示各词在语料库的词频，I(w)表示信息查询中关键词的信息量，N表示整个语料库的大小，P(w)表示语料库中有效信息的逆文本信息量，M表示w语料所在的文章的全部集合。

较现有技术相比，本发明可将舆情监测范围大大提高，不仅可监测国内信息及国外英文信息源，“一带一路”沿线各小语种国家的信息都可被该模型进行实时监测分析。本发明将难以进行准备切分的新闻性文本，进行了高准确度的分词清洗。经人工检测后，非有效信息的出现率及有效信息的误排率都极低。

基于上述理由本发明可在文本处理领域广泛推广。

附图说明