[发明专利]多种语言文本数据分类处理方法

权利要求书

1.一种自学习的涉及多语言数据处理分类方法，其特征在于，包括如下步骤：

步骤1，通过第一种子词中文或者外文“很”抽取候选情感词，然后进行停用词过滤，停用词表从语料库中自动获取；

步骤2，通过第二种子词“好”和第三种子词“差”或者外文“好”“差”对情感词和情感文本同时进行支持或反对聚类；

步骤3，通过半监督学习构建情感分类器，先从步骤2聚类的结果中挑选确信的样本训练初始分类器，然后融合文本的情感得分和分类器的后验概率来挑选新样本加入训练集。

2.如权利要求1所述的涉及多语言数据处理分类方法，其特征在于，所述步骤1包括：

步骤21，统计语料库中所有词的词频，将超过一定阈值的高频词看作停用词，自动获得停用词表；

步骤22，如果停用词表中出现情感词，则将情感词滤除，只保留非情感词的停用词，得到非情感词集合。

3.如权利要求2所述的涉及多语言数据处理分类方法，其特征在于，所述步骤2包括：

步骤31，对情感词和情感文本进行粗略标注为正/负；文本中所包含的所有情感词均被赋予相同的倾向性；

步骤32，对每个情感词指定一个唯一的极性，引入KL距离法对极性模糊的情感词进行消歧；

步骤33，对情感词和情感文本进行迭代聚类；

步骤34，用消歧后的情感词来重新标注情感文本作为标注集，然后再用该标注集重新标注情感词，如此反复，迭代进行。

4.如权利要求3所述的涉及多语言数据处理分类方法，其特征在于，所述步骤3包括：

步骤41，从标注集中挑选最确信的样本作为初始训练集，然后在初始训练集上训练分类器；

步骤42，从分类器的预测结果中挑选最确信的样本加入训练集重新训练分类器，迭代进行。

5.如权利要求3所述的涉及多语言数据处理分类方法，其特征在于，所述步骤3包括：

步骤43，将所有的文本按照情感词得分进行排序，然后挑选得分最高的文本作为初始集，用于提高初始训练集的准确率；

步骤44，新机制将分类器生成的后验概率和文本的情感得分相加，用于防止自学习过程中的分类偏移。

6.如权利要求2所述的涉及多语言数据处理分类方法，其特征在于，步骤2还包括步骤24，对于集合S中的每一个词统计“很”的出现频率，并根据公式计算权重：

α(wi)=f(very,wi)Σi=1nf(very,wi)]]>