[发明专利]基于信息增益与最大相关最小冗余二阶段特征选择方法

说明书

本发明公开了一种基于信息增益与最大相关最小冗余二阶段特征选择方法，首先根据信息增益算法初步选取特征词，得到特征词子集；计算特征词与类别之间的互信息值；计算特征词之间的互信息值；计算特征词的类差分度；计算特征词的类差分度差值；将类差分度差值引入最大相关最小冗余MRMR算法进行二阶段特征词选取；本发明通过信息增益选取一阶段特征集合，同时将类差分度思想引入最大相关最小冗余方法作为二阶段特征提取方法，进而提升特征集合选取的准确度，实现特征词的准确选取，解决现有特征提取分类效果差、计算量大以及特征冗余等技术问题。

技术领域

本发明属于机器学习及自然语言处理领域，尤其是涉及一种基于信息增益与最大相关最小冗余二阶段特征选择方法。

背景技术

随着信息化时代的来临，能够获取到的信息数据量越来越大，特征维度也越来越高，尽管高维度能够让信息更加完整，但同时也增加了对分类器的要求，并且容易产生维度灾难的问题。文本的特征选取是从预处理过的文本中选择最具代表性的特征词集合，通过选择的特征子集达到降维的效果。传统的特征词选取的方法有信息增益(informationgain，IG)，文本词频(document frequency，DF)，χ²统计量(chi squarestatistic，CHI)，词频-逆文本率(term frequency－inverse document frequency，TF-IDF)等。这些传统的特征选取方法仅仅考虑了特征词与文本类别之间以及文本与文本之间的关系，没有考虑特征词之间的关系，特征词之间可能存在冗余，即需要对特征词进行二次提取，去掉冗余。文献[姚海明，王娜，齐妙，李研，改进的最大相关最小冗余特征选择方法研究，计算机工程与应用，2014,50(9):116-122.]通过最大相关最小冗余算法(minimum redundancy maximumrelevancy，MRMR)选择特征子集，并且利用T检验(T-test)，χ²算法(chi squarestatistic)等作为特征子集的评价函数。文献[陈素萍，谢丽聪，一种文本特征选择方法的研究，计算机技术与发展，2009,19(2)：112-115.]比较了信息增益、期望交叉熵(expectedcross entropy，ECE)、互信息(mutual information，MI)、χ²统计量以及MRMR算法，最终提出最大相关最小冗余MRMR模型的特征选择方法。该文献直接使用最大相关最小冗余MRMR算法进行特征子集的选择，虽然保证了特征子集语义的完整，但生成特征子集的计算代价较大。为了减小计算代价，文献[李军怀，付静飞，费蓉，王怀军，基于MRMR的文本分类特征选择方法，计算机科学，2016,43(10)：225-228.]提出了提出了基于TF-IDF与MRMR的二阶段特征选择方法。但文献[LB Xu,J Liu,WL Zhou,Q Yan,Adaptive Nave Bayesian Classifierfor Automatic Classification of Webpage from Massive Network Data.SixthInternational Conference on Intelligent Human-machine SystemsCybernetics,2014,1:127-130.]中实验表明信息增益算法分类效果优于词频-逆文本率TF-IDF算法。同时文献[任军，葛卫丽，陈家勇，一种基于类差分度的互信息特征选择方法，中国科技论文，2015(20)：2386-2389.]引入类差分度的概念，提出一种改进的互信息特征选择方法，其核心思想利用类差分度，解决互信息方法未考虑到的特征项与类别之间关系问题。

发明内容

本发明的目的在于为文本分类任务选取更加准确的特征集合，提出一种基于信息增益与最大相关最小冗余二阶段特征选择方法，实现特征词的准确选取，解决现有特征提取分类效果差、计算量大以及特征冗余等技术问题。