[发明专利]文本数据的分类方法、装置、非易失性存储介质、处理器

说明书

本发明公开了一种文本数据的分类方法、装置、非易失性存储介质、处理器。其中，该方法包括：对待分类文本数据进行语义表征处理，得到词向量；对上述词向量进行语句级别特征处理，得到文本特征表示；对上述文本特征表示进行分类处理，得到分类结果。本发明解决了现有技术中基于神经网络的分类方法的文本分类效果和分类准确性较差的技术问题。

技术领域

本发明涉及文本数据处理领域，具体而言，涉及一种文本数据的分类方法、装置、非易失性存储介质、处理器。

背景技术

随着人工智能的发展，人们更倾向于采用计算机来处理文本数据，文本分类即采用计算机对文本集(或其他实体)按照一定的分类体系或标准进行自动分类标记，它根据一个已经被标注的训练文档集合，找到文档特征和文档类别之间的关系模型，然后利用这种学习得到的关系模型对新的文档进行类别判断，在信息检索、数据挖掘中，文本分类是一项重要且基本的任务。

传统的文本分类方法需要人工来完成，费时费力而且准确性不高，随着机器学习的发展，KNN(邻近算法)、SVM(支持向量机)等算法得到了广泛的应用，但是这些方法虽然在传统人工方法上有了一定提升，但是准确率却不是很高；随着深度学习的不断发展，基于神经网络的分类方法取得了不错的效果，例如，CNN、RNN、TextCNN等神经网络模型，但是上述基于神经网络的分类方法的文本分类效果仍然较差，需要进一度提高分类效果和分类准确性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文本数据的分类方法、装置、非易失性存储介质、处理器，以至少解决现有技术中基于神经网络的分类方法的文本分类效果和分类准确性较差的技术问题。

根据本发明实施例的一个方面，提供了一种文本数据的分类方法，包括：对待分类文本数据进行语义表征处理，得到词向量；对上述词向量进行语句级别特征处理，得到文本特征表示；对上述文本特征表示进行分类处理，得到分类结果。

在一种可选的实施例中，上述文本数据的分类方法还包括：对上述待分类文本数据进行分词处理，得到分词结果；从上述分词结果中去除停用词，得到预处理结果。

在一种可选的实施例中，对上述待分类文本数据进行语义表征处理，得到上述词向量包括：利用第一神经网络模型将上述预处理结果转化成向量形式，得到文本表示的上述词向量，其中，上述第一神经网络模型为多层双向转换解码模型。

在一种可选的实施例中，对上述词向量进行语句级别特征处理，得到上述文本特征表示包括：利用第二神经网络模型对上述词向量进行语句级别特征处理，得到上述文本特征表示，其中，上述第二神经网络模型为句级别的双向反馈网络模型。

在一种可选的实施例中，上述第二神经网络模型包括：至少一个第三神经网络模型、全连接层以及至少一个第四神经网络模型，利用上述第二神经网络模型对上述词向量进行语句级别特征处理，得到上述文本特征表示包括：利用上述至少一个第三神经网络模型对上述词向量进行单词特征编码处理，得到句子特征编码向量，其中，上述至少一个第三神经网络模型为词级别的编码网络模型；利用上述全连接层汇总上述句子特征编码向量，并将上述句子特征编码向量前向传递至上述至少一个第四神经网络模型，其中，上述至少一个第四神经网络模型为词级别的解码网络模型；利用上述至少一个第四神经网络模型对上述句子特征编码向量进行单词特征解码处理，得到上述文本特征表示。

可选的，对上述文本特征表示进行分类处理，得到上述分类结果包括：利用分类器对上述文本特征表示中的每个语句的特征表示进行分类处理，得到每个语句对应类别的概率值；统计每个语句对应类别的概率值，得到上述分类结果。

根据本发明实施例的另一方面，还提供了一种文本数据的分类装置，包括：第一处理模块，用于对待分类文本数据进行语义表征处理，得到词向量；第二处理模块，用于对上述词向量进行语句级别特征处理，得到文本特征表示；第三处理模块，用于对上述文本特征表示进行分类处理，得到分类结果。