[发明专利]文本意图分类的方法、装置和可读介质

说明书

本发明涉及自然语言处理，特别涉及用于文本意图的分类。按照本发明一个方面的用于生成文本意图分类器的方法包含下列步骤：获得训练数据集，训练数据集包含多个文本样本，每个文本样本包含一个或多个句子；利用训练数据集对第一神经网络模型进行预训练以改善第一神经网络模型与关联于训练数据集的应用领域之间的适配性，其中，第一神经网络模型配置为对文本样本中的句子进行语义分类以得到该文本样本的特征向量；由经过预训练的第一神经网络模型生成第二神经网络模型，其中，第二神经网络模型的层数少于经过预训练的第一神经网络模型的层数；以及将第二神经网络模型连接到输出层以生成文本意图分类器。

技术领域

本发明涉及自然语言处理，特别涉及用于生成文本意图分类器、用于对文本意图进行分类的方法、实施该方法的文本分类器以及计算机可读存储介质。

背景技术

自然语言理解是人工智能领域的核心课题，其研究的是如何使计算机能够理解和运用人类的自然语言，从而实现人机之间的自然语言通信。在一个典型的人机对话过程中，计算机根据用户输入确定命名实体或者用户意图，并且根据实体和意图作出相应的答复。

在实际应用中，文本歧义性以及文本结构的变化将导致计算机难以准确识别文本的意图。为了解决上述意图识别的困难，通常利用机器学习或者深度学习的算法，按照各种意图对文本进行分类。但是现有的文本意图分类方法存在以下问题。首先，机器学习模型虽然能够在小范围内取得比较高的精确度，但模型的泛化性差，即使对于语义上相近的句子，当具有不同的结构时都可能导致错误的分类结果。其次，深度学习模型通常包含大量参数，需要庞大的数据用于模型训练，而在实际应用中并不总是能满足这种数据量的需求。再者，众多的模型参数也会导致模型运行效率低下，训练成本和使用成本高企。

由上可见，需要提供一种能够解决上述问题的文本意图分类方案。

发明内容

本发明的一个目的是提供用于生成文本意图分类器的方法、用于对文本意图进行分类的方法、文本分类器和计算机可读存储介质，其能够在确保分类准确率的情况下，同时提高模型运行效率和降低模型的训练和使用成本。

按照本发明一个方面的用于生成文本意图分类器的方法包含下列步骤：

获得训练数据集，所述训练数据集包含多个文本样本，每个文本样本包含一个或多个句子；

利用所述训练数据集对第一神经网络模型进行预训练以改善所述第一神经网络模型与关联于所述训练数据集的应用领域之间的适配性，其中，所述第一神经网络模型配置为对文本样本中的句子进行语义分类以得到该文本样本的特征向量；

由经过预训练的第一神经网络模型生成第二神经网络模型，其中，第二神经网络模型的层数少于经过预训练的第一神经网络模型的层数；以及

将所述第二神经网络模型连接到输出层以生成文本意图分类器。

优选地，在上述方法中，获得训练数据集的步骤包括：

输入原始训练数据集；以及

对所述原始训练数据集中的文本样本进行预处理以生成所述训练数据集中的文本样本，所述预处理包括文本清洗和去除停用词。

优选地，在上述方法中，所述第一神经网络模型为下列模型中的一种：BERT模型、XLNET模型和ALBERT模型。

优选地，在上述方法中，利用所述训练数据集对第一神经网络模型进行预训练的步骤包括：

对文本样本中所包含的句子进行分词处理；

对所划分的单词进行命名实体识别；以及

利用掩码语言模型来对所述第一神经网络模型进行微调以得到经过预训练的第一神经网络模型，其中，掩码语言模型中被随机遮罩的对象为经命名实体识别的单词。