[发明专利]一种文本分类方法和装置

说明书

技术领域

本申请涉及通信和计算机技术领域，特别是涉及一种文本分类方法和装置。

背景技术

随着互联网在全球范围内的快速发展，人们面临的信息呈指数增加。在人们所面临的信息中有大量的文本信息，因此，对文本信息的处理技术尤为重要。其中，对文本信息进行分类是组织和管理文本信息的一个有效手段，将文本信息进行分类可以方便人们对文本信息的浏览、查找和使用。文本分类是指由计算机对文本信息经过某种分类算法的处理后，把文本判别到预先定义好的类别中，即，文本到类别的映射。

在现有的文本分类方法中，通常都是将文档按照一定的原理切割成多个词汇，并假设各个词汇在文档中出现的概率是独立的，即，假设词汇与词汇之间不存在相互影响。在上述假设下，只需要对单个词汇在文档中出现的次数进行统计，即，统计单个词汇的词频，然后将单个词汇的词频经过特定分类算法的处理后，得到分类结果。

但是，发明人在研究中发现，不同词汇之间不存在相互影响仅仅是一种非常理想化的假设。在实际应用中，文档的整个语义都需要依靠上下文来表达，这就决定了词汇与词汇之间是彼此关联并相互影响的。例如，“毛泽东”与“周恩来”两个词汇在一些政治文档中同时出现的概率很高，由此可见，这两个词汇在文档中是彼此关联并相互影响的，它们在文档中出现的概率不是独立的。因此，在假设词汇在文档中出现的概率是独立的前提条件下，统计单个词汇的词频，并将单个词汇的词频经过特定分类算法的处理后所得到的分类结果是不准确的。

发明内容

为了解决上述技术问题，本申请实施例提供了一种文本分类方法和装置，以提高分类结果的准确性。

本申请实施例公开了如下技术方案：

一种文本分类方法，包括：将待分类文档进行分词，对分词得到的各词汇进行组合，得到待分类文档词汇组集合，其中，待分类文档词汇组集合中的各词汇组包括至少两个词汇；统计所述待分类文档词汇组集合中各词汇组的词频；从预先获得的词汇组向量中提取所述待分类文档词汇组集合中的各词汇组的向量，其中，所述预先获得词汇组向量是预先将具有确定类别的样本文档进行分词，对分词得到的各词汇进行组合，得到样本文档词汇组集合，统计所述样本文档词汇组集合中各词汇组的词频，将同一词汇组在各样本文档类别中的词频组成词频向量，对所述词频向量进行归一化处理，得到词汇组向量，其中，样本文档词汇组集合中各词汇组包括至少两个词汇；将待分类文档中各词汇组的词频作为词汇组的向量数，对上述提取的各词汇组的所有向量求和，得到总分类向量；对所述总分类向量进行预置分类算法的处理，得到待分类文档的分类结果。

一种文本分类装置，包括：词汇组合模块，用于将待分类文档进行分词，对分词得到的各词汇进行组合，得到待分类文档词汇组集合，其中，待分类文档词汇组集合中的各词汇组包括至少两个词汇；词频统计模块，用于统计所述待分类文档词汇组集合中各词汇组的词频；向量提取模块，用于从预先获得的词汇组向量中提取所述待分类文档词汇组集合中的各词汇组的向量，其中，所述预先获得词汇组向量是预先将具有确定类别的样本文档进行分词，对分词得到的各词汇进行组合，得到样本文档词汇组集合，统计所述样本文档词汇组集合中各词汇组的词频，将同一词汇组在各样本文档类别中的词频组成词频向量，对所述词频向量进行归一化处理，得到词汇组向量，其中，样本文档词汇组集合中各词汇组包括至少两个词汇；向量求和模块，用于将待分类文档中各词汇组的词频作为词汇组的向量数，对上述提取的各词汇组的所有向量求和，得到总分类向量；分类模块，用于对所述总分类向量进行预置分类算法的处理，得到待分类文档的分类结果。

由上述实施例可以看出，利用词汇组词频替代原有的单个词汇的词频，在此基础上，统计词汇组的词频，当从预先基于样本文档获得的词汇组向量中提取待分类文档词汇组集合中的各词汇组的向量后，将待分类文档词汇组集合中各词汇组的词频作为词汇组的向量数，对提取的各词汇组的所有向量进行求和，得到总分类向量，对所述总分类向量进行预置分类算法的处理，得到待分类文档的分类结果。由于整个文本分类方法是基于词汇组的词频进行的，考虑了词汇与词汇之间的相互影响和相互关联，相对于现有的文类方法，提高了分类结果的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一种文本分类方法的一个实施例的流程图；