[发明专利]一种小语种国家的舆情信息文本处理方法

权利要求书

1.一种小语种国家的舆情信息文本处理方法，其特征在于，包括如下步骤：

将小语种文本翻译为英文，再根据英文文本翻译为中文文本；

基于隐马尔可夫模型对中文文本进行分词处理；

对全部分词语料进行清洗，将不利于判断有效信息、重复出现的非语素词全部清洗掉；

计算各个分词的词频逆文本词频值，将词频逆文本词频值低于设定阈值的非关键词删除，通过保留的词组建分析语料库。

2.根据权利要求1所述的小语种国家的舆情信息文本处理方法，其特征在于，所述隐马尔可夫模型具体表达式为：

P(x_t|x_t-1，x_t-2，…，x₁，y₁，…，y_t-1)＝P(x_t|x_t-1)

其中，x_t为t字本身的状态，x_t-1为t字后面一字的状态，y₁为x₁所能组成的第一种词的状态。

3.根据权利要求1或2所述的小语种国家的舆情信息文本处理方法，其特征在于，在分词处理过程中，优先将相关关键词汇进行分词，将相关关键词以字典的形式载入分词过程，并将关键词以优先级进行关键值赋值。

4.根据权利要求3所述的小语种国家的舆情信息文本处理方法，其特征在于，所述计算各个分词的词频逆文本词频值具体为：

整体的tf-idf计算规则为：

其中，TF(w)表示各词在语料库的词频，I(w)表示信息查询中关键词的信息量，N表示整个语料库的大小，P(w)表示语料库中有效信息的逆文本信息量，M表示w语料所在的文章的全部集合。