[发明专利]一种基于多词的文本表示策略的文本分类方法

权利要求书

1.一种基于多词的文本表示策略的文本分类方法，其特征在于，包括以下步骤：

(1)选取公开文本分类数据集并进行处理；

(2)对数据集中的文本进行多词提取，储存到语料库；

(3)用不同的文本表示策略对多词处理，形成文本完整的特征集，最后评估多词在不同策略中表征的有效性。

2.根据权利要求1所述的基于多词的文本表示策略的文本分类方法，其特征在于，所述步骤(1)中处理公开文本分类数据集时，采用信息增益参数去除非信息词汇，降低空间维度，构建较低空间维度级别的正交维度新特征。

3.根据权利要求1所述的基于多词的文本表示策略的文本分类方法，其特征在于，所述步骤(1)中公开文本分类数据集采用reuters-21578。

4.根据权利要求1所述的基于多词的文本表示策略的文本分类方法，其特征在于，所述步骤(2)中多词提取采用正则表达式，并采用重复模式算法减少计算复杂度，提高分类精度，具体步骤如下：

(21)从训练集中取出两个单个句子S₁和S₂；

(22)抽取单个句子S₂中的一个词组；

(23)将抽取的词组与单个句子S₁里的词组逐词对比；

(24)当单个句子S₁中的词组和单个句子S₂中对照的词组一致时，则储存到语料库；

(25)重复步骤(22)，直到单个句子S₂中的词组全部选取完毕；

(26)重复步骤(21)，直到训练集中的单句全部选取完毕；

(27)将以上步骤提取出的重复词组，送入正则表达式，提取出多词，其正则表达式计算式为((A|B)⁺|((A|N)^*(NP)^？(A|N)^*)N，其中，其中A是形容词，N是名词，P是介词，“|”表示将两个匹配条件进行逻辑“或”运算，“+”表示匹配前面的子表达式一次或多次，“*”表示匹配前面的子表达式任意次，“？”表示匹配前面的子表达式零次或一次。

5.根据权利要求1所述的基于多词的文本表示策略的文本分类方法，其特征在于，所述步骤(3)中多词处理的策略为分解策略，在这个策略中，只有短多字用来表示文本的一般概念，提出k-mismatch算法；所述分解策略的具体步骤如下：从语料库中逐个获取多词；将复合长多词分解为词组；计算词组出现频率，词组权重为词组的出现频率；将带权重的词组送入支持向量机进行文本分类。

6.根据权利要求1所述的基于多词的文本表示策略的文本分类方法，其特征在于，所述步骤(3)中多词处理的策略为组合策略，在这个策略中，只有长多字用来表示文本的一般概念，设置两个参数以确定文档中是否出现能够代替组合单个词组的多词；所述组合策略的具体步骤如下：将语料库所有的多词分解成单个词组，设为S＝{s₁,...,s_n}，S是单个词组序列集合，s_i是第i个单个词组；从语料库中取出一个多词，设为W＝{w₁,...,w_m}，W是一个多词，w_i是W中的第i个单个词组，并定义L_m＝{a_m，1，a_m，2，…，a_m,tm}，其中a_m,i表示集合S中的第m个出现w_m的位置；遍历该多词W的所有单个词组w_i，如果单个词组w_i出现在集合S中，则把单个词组w_i存入集合W₀，计算比率OR＝|W₀|/|W|，|W₀|表示集合W₀单个词组个数，|W|表示多次W单个词组个数；遍历集合W₀中所有的单个词组w_i，计算单个词组出现的距离，公式如下：|L_i|＝max{a_1，i，a_2，*i，…，a_m,*i}-min{a_1，i，a_2，*i，…，a_m,*i}；计算最小范围MS＝min|L_i|，其中1≤i≤|W₀|；取语料库的下一个多词，重复上述步骤，直到计算出所有多词的比率OR和最小范围MS。