[发明专利]一种基于多词的文本表示策略的文本分类方法

说明书

本发明涉及一种基于多词的文本表示策略的文本分类方法，包括以下步骤：选取公开文本分类数据集并进行处理；对数据集中的文本进行多词提取，储存到语料库；用不同的文本表示策略对多词处理，形成文本完整的特征集，最后评估多词在不同策略中表征的有效性。本发明利用正则表达式匹配以提取多词和提取重复模式的技术，减少了文本分类的计算量。

技术领域

本发明涉及文本分类技术领域，特别是涉及一种基于多词的文本表示策略的文本分类方法。

背景技术

随着在线信息的快速增长，文本分类已成为处理和组织文本数据的关键技术之一。智能文本分类是利用监督式学习方法，根据一组标签文本数据通过训练给新的文本数据分配预定义的类别标签。文本分类需要文本挖掘技术，而支持文本挖掘的主题之一就是文本表示。文本表示是将非结构化文本转化为结构化数据作为数据挖掘技术可以处理的数值向量的过程，对学习系统的泛化精度影响很大。

通常，词袋模型(Bag-of-Worlds，BOW)被用于文本分类，用来表示从给定的文本数据集获得的单个词统计的文本表示方法。作为一种简单直观的方法，BOW使得表示和学习变得简单和高效，因为它忽略了单个词组的顺序和含义。但也有人批评BOW发现的信息是不可理解的，因为语义和语义没有被整合到文档的表示中。为了解决这个问题，近期提出了三种不同语义层次的表示方法。

本体增强表示。也就是说，使用本体来捕获文档中的概念，并将单个词组的领域知识整合到文本表示的术语中。例如，Hotho等人在2003Proceedings of the 3rd IEEEInternational Conference on DataMining,pp.541-544中开发了不同类型的方法，将本体中包含的背景知识编译成文本文档表示，提高了文档聚类的性能。

语言单位增强代表性。该方法利用短语的词法和句法规则，从文档中提取名词短语和实体等术语，并利用这些丰富语言单元进行文本表示。例如，刘易斯在1992Proceedings of the 15th Annual International ACM SIGIR Conference onResearch and Development in Information Retrieval,pp.37-50中比较了基于短语的索引和基于词的索引来表示文档分类的任务。其结果表明，由于大多数短语的频率低，所以短语索引不能改进大多数情况下的分类。

字序列增强表示。这个方法忽略了文档中的语义，并把这些单个词组当作字符串序列。使用这种方法的文本表示既可以是基于共现的单个词组，也可以是通过传统的字符串匹配方法从文档中提取的单个词组序列。

文本分类的一个主要困难是特征空间的高维度，并且大多数特征(即术语)与分类任务无关或冗余，这使得非常希望在不牺牲分类准确性的情况下减少计算成本。

发明内容

本发明所要解决的技术问题是提供一种基于多词的文本表示策略的文本分类方法，能够减少计算量。

本发明解决其技术问题所采用的技术方案是：提供一种基于多词的文本表示策略的文本分类方法，包括以下步骤：

(1)选取公开文本分类数据集并进行处理；

(2)对数据集中的文本进行多词提取，储存到语料库；

(3)用不同的文本表示策略对多词处理，形成文本完整的特征集，最后评估多词在不同策略中表征的有效性。

所述步骤(1)中处理公开文本分类数据集时，采用信息增益参数去除非信息词汇，降低空间维度，构建较低空间维度级别的正交维度新特征。

所述步骤(1)中公开文本分类数据集采用reuters-21578。

所述步骤(2)中多词提取采用正则表达式，并采用重复模式算法减少计算复杂度，提高分类精度，具体步骤如下：