[发明专利]计算机文本的特征选择方法

摘要

本发明涉及一种计算机文本的特征选择方法、分类特征选择方法及系统，计算机文本的特征选择方法包括如下步骤：步骤S1，对计算机文本进行处理，得到文本的三维特征数据集；步骤S2，计算所述文本的三维特征数据集的重构系数矩阵，并且计算信息熵向量；步骤S3，按照所述信息熵向量以及所述重构系数矩阵计算综合度量指标，并且按照所述综合度量指标从小到大的顺序进行特征选择；以及步骤S4，输出经过特征选择获得的文本特征集。本发明的特征选择方法不仅能够降低文本特征空间的维数，以利于提高文本分类的效率，而且通过删除对文本分类冗余和不相关的特征，有利于提高文本分类的分类精度。

主权项

1.一种计算机文本的特征选择方法，其特征在于，包括如下步骤：步骤S1，对计算机文本进行处理，得到文本的三维特征数据集；步骤S2，计算所述文本的三维特征数据集的重构系数矩阵，并且计算信息熵向量；步骤S3，按照所述信息熵向量以及所述重构系数矩阵计算综合度量指标，并且按照所述综合度量指标从小到大的顺序进行特征选择；以及步骤S4，输出经过特征选择获得的文本特征集；步骤S1，对计算机文本进行处理，得到文本的三维特征数据集的方法包括：对计算机文本进行处理，将其断开并处理成词语集合，以词性作为特征对所述词语集合进行分类，得到所述词语集合的类别，将同一个词性的词语分为一类，所述词性被分为动词、名词、形容词或副词，将所述词语集合中的词语映射为坐标上的点，坐标上的横坐标为所述词语集合中的词语在计算机文本中出现的次数，坐标上的纵坐标为所述词语集合中的词语在其类别中出现的次数，将坐标的值记录，得到所述文本的三维特征数据集；即所述文本的三维特征数据集的数据为三维坐标，一维坐标为所述词语集合的类别，一维坐标为所述词语集合在计算机文本中出现的次数，一维坐标为所述词语集合的类别在其类别中出现的次数；步骤S2，计算所述文本的三维特征数据集的重构系数矩阵，并且计算信息熵向量的方法包括：对所述文本的三维特征数据集进行处理，利用范数最小化的优化方法，得到所述文本的三维特征数据集中每个数据的重构系数，将所述每个数据的重构系数与所述词语集合的类别分别作为所述文本的特征数据集的重构系数矩阵的行与列，根据所述词语集合的类别计算所述词语集合中词语在各个类别的概率分布:式(1)中：i＝1,2,…，i,…,N,变量N记录所述词语集合中类别的数量，C₁,C₂,C₃,…，C_i,…,C_N表示所述词语集合中的词语在其类别中出现的次数，L₁,L₂,L₃,…，L_i,…,L_N表示所述词语集合中的各个类别的词语数量，并且计算所述词语集合的类别B_i的信息熵，定义如下：式(2)中：H(B_i)表示所述词语集合的类别B_i的信息熵；将所述词语集合中的各个类别的信息熵综合，得到所述信息熵向量；步骤S3，按照所述信息熵向量以及所述重构系数矩阵计算综合度量指标，并且按照所述综合度量指标从小到大的顺序进行特征选择的方法包括：计算所述信息熵向量的模，根据所述重构系数矩阵，提取所述文本的三维特征数据集中每个数据的重构系数，将所述信息熵向量的模乘以所述文本的三维特征数据集中每个数据的重构系数，得到计算所述词语集合中词语在所述词语集合的各个类别的所述综合度量指标，并且在所述词语集合中词语在所述词语集合的各个类别的所述综合度量指标从小到大进行排序，根据所述词语集合的各个类别中的词语数量、所述信息熵选取特征选择在所述词语集合的各个类别上的提取数量。