[发明专利]一种文本分类方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种文本分类方法及装置。

背景技术

随着计算机技术的不断发展，文本分类技术的应用领域也越来越广。传统的文本分类技术是通过人工的方式，按照每一个文本的具体内容将其归纳为某一类别，这种方式在文本的数量极大时，文本分类效率就会降低。

目前，可以使用Mahout贝叶斯算法实现对海量文本的分类，该分类过程可以包括如下两个步骤：1、自动分词；2自动分类。

然而，Mahout贝叶斯算法针对文本的自动分词，只能实现单个中文文字的分词，例如，“核磁共振”，Mahout贝叶斯算法所实现的分词结果包括：“核”“磁”“共”“振”，由于对文本的分类可以通过每个文本所分词的含义实现分类，如果将每个文本所分词后的结果包括多个单个文字，无法利用单个文字的含义实现分类，因此，文本分类的准确性较低。

发明内容

有鉴于此，本发明提供一种文本分类方法及装置，以解决现有技术方案中文本分类的准确性较低的问题。

本发明提供了一种文本分类方法，将用于实现文本词组分词的分词算法对Mahout贝叶斯算法中的分词算法进行替换，以使Mahout贝叶斯算法实现文本词组的分词，学习与各个行业分别相关的专业词汇，并将与每个行业相关的专业词汇分别存入相应的词库中，还包括：

获取待分类的文本；

针对所述待分类的文本中的每一个文本，利用Mahout贝叶斯算法中所述用于实现文本词组分词的分词算法遍历文本中的每句文字，并将遍历到的每句文字分别与每个词库所存储的专业词汇进行匹配；

根据与遍历到的每句文字最匹配的词库，对相应的那一句文字进行分词处理；

针对分词处理后的每一个文本，计算所划分的每一个词组的词频反词频统计值；

根据每一个词组的词频反词频统计值，对所述待分类的文本进行分类操作。

优选地，

进一步包括：存储每一个词组的词频反词频统计值；

进一步包括：在所述待分类的文本中发生文本删除操作或文本增加操作时，根据文本删除操作或文本增加操作所对应的文本，对存储的每一词组的词频反词频统计值进行更新。

优选地，

进一步包括：预先设定维度阈值；

所述对所述待分类的文本进行分类操作，包括：

确定每个文本分别对应的多维向量；

根据预先设定的所述维度阈值，和，每个文本分别对应的多维向量，获取每个文本分别对应的第一维度向量，其中，每个文本分别对应的第一维度向量的维度均等于所述维度阈值；

根据预先设定的所述维度阈值以及所述待分类的文本，分析得到所述待分类的文本所对应的多类主题，其中，每类主题分别对应一个维度与所述维度阈值相等的第二维度向量；

在所述待分类的文本中选择一个尚未被进行分类的文本，将该选择的文本所对应的第一维度向量，分别与每一个第二维度向量计算余弦相似度，将余弦相似度的最大值所对应的分类主题作为该选择的文本的主题，继续执行本步骤，直到所述待分类的文本均被分类完毕。

优选地，

进一步包括：设定统计个数阈值；

所述确定每个文本分别对应的多维向量，包括：在文本中获取与所述统计个数阈值相等个数的值最大的词频反词频统计值；将获取的值最大的词频反词频统计值作为该文本的多维向量，其中，该文本的多维向量的维度个数与所述统计个数阈值相等；

或，

所述获取每个文本分别对应的第一维度向量，包括：针对所述待分类的文本中每个文本分别对应的多维向量进行维度拼接，以将所述待分类的文本均统一到一个多维空间中；将统一到的该多维空间进行主成分分析降维，得到每个文本分别对应的第一维度向量；

或，

通过下式计算所述余弦相似度：