[发明专利]基于词频分布的文字分类方法、装置、设备及介质

权利要求书

1.一种基于词频分布的文字分类方法，其特征在于：包括以下步骤；

S1，获取历史短信息样本，从历史短信息样本中提取一部分短信息样本组成训练集合，将另一部分样本组成验证集合；

S2，从训练集合中选择关键词，根据关键词建立对应的矩阵，从矩阵中提取特征值，根据该特征值获取对应关键词的频率向量以及对应短信息的分类组别，并根据该频率向量构建向量空间，对该频率向量进行标准化，获取标准化关键词频率向量；

S3，建立加权平均空间距离算法，根据关键词从验证集中获取每个关键词的出现频率向量，根据出现频率向量以及标准化关键词频率向量通过加权平均空间距离算法在向量空间中计算短信息到分类组别的加权平均空间距离；

S4，根据该加权平均空间距离对短信息进行分类；

计算短信息到分类组别的加权平均空间距离之后，还包括以下步骤，设定重复次数以及空间距离选取标准，根据该重复次数重复运行步骤S2以及步骤S3，获取短信息在同一分类组别下的多个加权平均空间距离d，根据多个加权平均空间距离d建立加权平均空间距离d的分布图，根据加权平均空间距离选取标准从该分布图中选取满足标准的加权平均空间距离d对应的最优矩阵以及最优标准化关键词频率向量；

设定阈值，实时获取真实场景下产生的短信息，根据最优矩阵以及最优标准化关键词频率向量利用加权平均空间距离算法测算该短信息的加权平均空间距离，将该加权平均空间距离的数值与阈值进行比较，当该加权平均空间距离的数值小于阈值时，则将该短信息放入历史短信息样本中。

2.如权利要求1所述的基于词频分布的文字分类方法，其特征在于：步骤S2中，从训练集合中选择关键词，还包括以下步骤，对训练集合中的短信息进行语词分析，统计每个语词的出现频率，根据每个语词的出现频率的数值将语词按从大到小的顺序进行排列，并选取前n个语词作为关键词。

3.如权利要求2所述的基于词频分布的文字分类方法，其特征在于：根据关键词建立对应的矩阵，从矩阵中提取特征值，根据该特征值获取对应关键词的频率向量，并根据该频率向量构建向量空间，对该频率向量进行标准化，获取标准化关键词频率向量，还包括以下步骤，获取关键词在训练集合中两两同时出现的频率，根据该频率构建矩阵，通过主成分分析，从该矩阵中获取特征值，根据该特征值确定对应短信息的分类组别以及对应的关键词的频率向量，根据该频率向量构建向量空间，同时对该频率向量进行标准化，获取标准化关键词频率向量。

4.如权利要求3所述的基于词频分布的文字分类方法，其特征在于：步骤S3中，还包括以下步骤，所述加权平均空间距离算法为：

其中，d_ij为短信息i到分类组别j的加权平均空间距离，R_i*＝R_i/||R_i||，R_i是短信息i的关键词频率向量，R_i*是短信息i的标准化关键词频率向量，S_j*＝S_j/||S_j||,||S_j*||＝1，S_j*是分类组别j的标准化关键词频率向量，S_j是分类组别j的关键词频率向量，V^-1是矩阵V的逆矩阵，T代表转置符号，i＝1,2,…,n；j＝1,2,…,n。

5.如权利要求4所述的基于词频分布的文字分类方法，其特征在于：根据该加权平均空间距离对短信息进行分类，还包括以下步骤，获取短信息到所有分类组别的加权平均空间距离，根据加权平均空间距离的数值，选取数值最小的加权平均空间距离所对应的分类组别，对该短信息进行分类。