[发明专利]一种文本分类方法及装置

权利要求书

1.一种文本分类方法，其特征在于，将用于实现文本词组分词的分词算法对Mahout贝叶斯算法中的分词算法进行替换，以使Mahout贝叶斯算法实现文本词组的分词，学习与各个行业分别相关的专业词汇，并将与每个行业相关的专业词汇分别存入相应的词库中，还包括：

获取待分类的文本；

针对所述待分类的文本中的每一个文本，利用Mahout贝叶斯算法中所述用于实现文本词组分词的分词算法遍历文本中的每句文字，并将遍历到的每句文字分别与每个词库所存储的专业词汇进行匹配；

根据与遍历到的每句文字最匹配的词库，对相应的那一句文字进行分词处理；

针对分词处理后的每一个文本，计算所划分的每一个词组的词频反词频统计值；

根据每一个词组的词频反词频统计值，对所述待分类的文本进行分类操作。

2.根据权利要求1所述的方法，其特征在于，

进一步包括：存储每一个词组的词频反词频统计值；

进一步包括：在所述待分类的文本中发生文本删除操作或文本增加操作时，根据文本删除操作或文本增加操作所对应的文本，对存储的每一词组的词频反词频统计值进行更新。

3.根据权利要求1所述的方法，其特征在于，

进一步包括：预先设定维度阈值；

所述对所述待分类的文本进行分类操作，包括：

确定每个文本分别对应的多维向量；

根据预先设定的所述维度阈值，和，每个文本分别对应的多维向量，获取每个文本分别对应的第一维度向量，其中，每个文本分别对应的第一维度向量的维度均等于所述维度阈值；

根据预先设定的所述维度阈值以及所述待分类的文本，分析得到所述待分类的文本所对应的多类主题，其中，每类主题分别对应一个维度与所述维度阈值相等的第二维度向量；

在所述待分类的文本中选择一个尚未被进行分类的文本，将该选择的文本所对应的第一维度向量，分别与每一个第二维度向量计算余弦相似度，将余弦相似度的最大值所对应的分类主题作为该选择的文本的主题，继续执行本步骤，直到所述待分类的文本均被分类完毕。

4.根据权利要求3所述的方法，其特征在于，

进一步包括：设定统计个数阈值；

所述确定每个文本分别对应的多维向量，包括：在文本中获取与所述统计个数阈值相等个数的值最大的词频反词频统计值；将获取的值最大的词频反词频统计值作为该文本的多维向量，其中，该文本的多维向量的维度个数与所述统计个数阈值相等；

或，

所述获取每个文本分别对应的第一维度向量，包括：针对所述待分类的文本中每个文本分别对应的多维向量进行维度拼接，以将所述待分类的文本均统一到一个多维空间中；将统一到的该多维空间进行主成分分析降维，得到每个文本分别对应的第一维度向量；

或，

通过下式计算所述余弦相似度：

similarity=cos(θ)=A·B||A||||B||=Σi=1nAi×BiΣi=1n(Ai)2×Σi=1n(Bi)2]]>

其中，similarity用于表征所述余弦相似度，cos(θ)用于表征向量A与向量B之间夹角的余弦值，A用于表征所选择的文本所对应的第一维度向量，B用于表征其中一个第二维度向量，i用于表征向量A或向量B的第i个列值，n用于表征向量A或向量B的列值的最大个数，其中，i是大于等于1且小于等于n的整数。