[发明专利]一种支持海量长文本数据分类的分析模型的实现方法

权利要求书

1.一种支持海量长文本数据分类的分析模型的实现方法，包括以下几个步骤：

第一步，建立基于VSM的统计分类模型，将文本进行向量化表示；

在VSM的框架之下，采用特征选择、文本的向量化表示、基于统计的分类算法相结合的框架体系结构；

文本的向量化过程和基于统计的分类算法过程均采用了分布式处理框架来完成，

文本的向量空间通过计算训练文本每类的代表性特征词来获得；分类模型所使用的文本向量空间等于所有类别训练文本基于CHI算法得到的特征词的集合交集；

第二步，采用基于HanLP自然语言处理工具中的标准分词器进行分词；

其中，HanLP自然语言处理包的还设有扩展词典；

第三步，采用基于CHI卡方检验的特征选择算法，并进行算法优化；

其中，CHI的计算公式是基于词频计算CHI值，选出每个类别下的最高的N个值，进行特征选择；再通过对所有类别文本各自的N个代表性关键词进行集合交集运算，最终得到低维度高可代表性的特征向量空间；

第四步，对于文本的向量化的表示和分类算法均采用基于spark的分布式框架体系结构；

第五步，在特征选择过程和文本向量化的表示过程中，进行优化；

首先是，文本的特征词过滤过程，采用了保留名词+动词+形容词的方法；其次，在文本的向量化表示过程中同样采用了只保留名词+动词+形容词的方法；

根据训练语料库，对分析模型进行训练，最终，通过模型进行分类预测。