[发明专利]文本分类方法及装置

说明书

本公开提供了一种文本分类方法和装置。该方法包括：按照预定汉字拆解规则对待分类文本进行汉字拆解，以得到汉字模块串，所述待分类文本中的每个汉字被拆解为至少一个汉字模块，所述汉字模块是粒度比汉字字符小的字符构成单元；以及使用卷积神经网络模型来对所述汉字模块串进行文本分类处理。利用该方法，通过将待分类文本拆解成由比字符粒度更小的汉字模块组成的汉字模块串，然后使用卷积神经网络来对汉字模块串执行文本分类处理，从而使得相较于基于分词执行的卷积处理，在卷积处理时产生了更多的交互信息，由此提高文本分类准确率。

技术领域

本公开通常涉及互联网技术领域，更具体地，涉及用于确定文本所属类别的文本分类方法及装置。

背景技术

随着互联网技术的迅速发展，互联网上的文本数据数量得到迅猛增长。如何对浩如烟海的文本数据进行数据挖掘来加以利用，已经成为具有重要意义的问题。文本分类是文本挖掘的重要内容，是指按照预先定义的主题类别，为待处理文本集合中的每个文本确定各自所属类别。通过文本分类装置/文本分类系统来对文本进行归类处理，可以帮忙人们更好地寻找所需要的信息和知识。随着文本信息的快速增长，文本自动分类已经成为文本数据处理的关键技术。

文本分类通常采用机器学习技术。机器学习技术以统计理论为基础，利用算法来让机器具有类似人类的自动学习能力，对已知的训练数据进行统计分析以得到规律，然后运用所得到的规则来对未知数据进行预测分析。用于文本分类的机器学习方法通常包括下述过程：首先，利用专业人员对经由互联网或者其它途径获取的文本文档进行标注和分类，以得到用于文本分类模型训练的训练集；接着，利用计算机来从所得到的训练集中挖掘出能够用于分类的分类器，即，文本分类模型；然后，利用所训练出的文本分类模型来应用于待分类的文本，以确定该文本的文本分类。

随着互联网上的文本信息量日趋丰富，人们对于比如文本信息挖掘的文本信息处理的效率、准确性和响应速度的要求越来越高，而文本分类的效率高低对于文本信息处理的效率、准确性和响应速度具有非常大的影响，由此，如何提供一种高效的文本分类方法，成为亟待解决的问题。

发明内容

鉴于上述，本公开提供了一种文本分类方法及装置。利用该方法及装置，通过将待分类文本拆解成由比字符粒度更小的汉字模块组成的汉字模块串，然后使用卷积神经网络来对汉字模块串执行文本分类处理，由于在卷积层针对粒度更小的汉字模块来执行卷积处理，从而使得相较于基于分词执行的卷积处理，可以产生更多的交互信息，由此提高文本分类准确率。

根据本公开的一个方面，提供了一种文本分类方法，包括：按照预定汉字拆解规则对待分类文本进行汉字拆解，以得到汉字模块串，所述待分类文本中的每个汉字被拆解为至少一个汉字模块，所述汉字模块是粒度比汉字字符小的字符构成单元；以及使用卷积神经网络模型来对所述汉字模块串进行文本分类处理。

可选地，在上述方面的一个示例中，所述预定汉字拆解规则包括预定汉字字形结构拆解规则。

可选地，在上述方面的一个示例中，所述预定汉字字形结构拆解规则包括：汉字部件构造规则、首尾分解规则或者其组合。

可选地，在上述方面的一个示例中，所述卷积神经网络模型包括TextCNN模型。

可选地，在上述方面的一个示例中，使用卷积神经网络模型来对所述汉字模块串进行文本分类处理可以包括：将所述汉字模块串输入到所述卷积神经网络模型的输入层来进行向量化处理，以得到所述汉字模块串中的各个汉字模块的向量表示；将所得到的各个汉字模块的词向量表示输入到所述卷积神经网络模型中的卷积层来进行卷积处理，以得到所述汉字模块串所对应的语义矩阵；将所得到的语义矩阵输入到所述神经网络模型中的池化层来进行池化计算，以得到所述汉字模块串所对应的语义向量；以及将所得到的语义向量输入到所述卷积神经网络模型中的分类层来进行分类处理，以确定所述待分类文本的分类结果。