[发明专利]一种基于复杂网络的集成学习的文本情感分类方法

说明书

本发明提供了一种基于复杂网络的集成学习的文本情感分类方法，结合现有的特征提取方法和基于复杂网络的特征选择方法，提高了对中文文本的情感分析的准确率。本发明通过实验使用集成学习结合朴素贝叶斯分类器验证了可行性，对比现有的特征提取技术和情感分类方法，本发明的分类准确率有明显的提高，得到了更好的文本情感分类效果。

技术领域

本发明属于机器学习分类技术领域，具体涉及一种基于复杂网络的集成学习的文本情感分类方法。

背景技术

随着信息科技的飞速发展，越来越多的互联网应用已经渗入到人们生活的方方面面。普通用户与网络应用之间的交互也越来越频繁，互联网用户群体的角色逐渐从互联网内容信息的浏览者演变为创造者。在这一过程中，用户可以在媒体平台提出情感态度型的观点和评论，对其进行检测和分类不仅可以产生巨大的商业价值，还可以维护互联网环境的安全。其中由于微博人口基数大，涉及话题广泛的特点，对人们的日常生活产生了不可估量的影响，而对微博的情感分析，更是有着十分重要的意义。近年来，随着复杂网络的兴起，国内外学者开始研究利用复杂网络来表示文本，根据其小世界特性进行文本挖掘，主要集中在文本的关键词提取领域。Zhu等通过构建词同现网络，利用节点缺失对网络中平均最短路径长度的影响来提取中文文本关键词。Liu等利用基于知网的词语语义相似度构建中文文本网络，结合复杂网络理论和统计方法来进行关键词提取。Huang等利用词语的句法关系建立文本复杂网络来进行关键词抽取。赵鹏等综合考虑文本语言网络中的节点度与聚集系数进行关键词抽取。在文本分类领域，赵洋等将复杂网络的分析理论引入到分类器。

复杂网络就是结合网络的视角和基本原理的复杂系统，语言复杂网络就是用复杂网络视图研究的语言结构。Sole认为语言在各个层次上都体现了复杂网络的性质，包括语音、词法、句法和语义。语言复杂网络通常是将语言中的语素(字、词)定义为节点，将语素间的关系定义为边，常见的连接关系有：共现关系(语素同时出现在句子或单词中)，概念同义，句法关系等。

语言网络既不是完全随机的，也不是完全规则的，它也具备复杂网络的小世界特性。复杂网络的如下重要统计特性对于语言网络同样适用：

1.度与度分布。在复杂网络中，节点的度是指与该节点相连接的节点的数目。度分布函数则反映了网络的统计特性。

2.聚集系数。聚集系数是用来衡量网络的集团化程度，节点i的聚集系数C 指与该节点邻接的节点之间实际相连接的边数与最大可能连接边数的比值：

其中，k表示节点i的度数，e表示节点i的邻接节点间实际存在的边数，称为聚集度。所有节点的聚集系数平均值即为该网络的聚集系数。聚集系数体现了节点的局部聚集密度及网络的聚集特性。

3.介数。介数包括节点介数和边介数。节点的介数指网络中任意两点间的最短路径通过该节点(边)的比例。介数在一定程度上可以体现节点对整个网络信息流动的影响。除此之外，复杂网络还有平均最短路径、正负匹配度等统计特性。

特征选择(Feature Selection)的目的是为了在文本预处理的基础上提高文本内容的类别区分能力和减少计算复杂度而对原始特征集合的降维过程。从而减少系统计算的复杂度和提高分类的准确率。常用的特征选择方法有以下几种：特征频度法(TF)、文档频率法(DF)、互信息(MI)、信息增益(IG)、期望交叉熵等。这些现有方法一般以文档频率、词频等统计信息为基础来进行特征词的选取，而忽略了文本中词汇间的语义关联关系，使得特征词的选取结果不能令人满意，从而影响了文本分类的效果。