[发明专利]文本意图分类的方法、装置和可读介质

权利要求书

1.一种用于生成文本意图分类器的方法，其特征在于，包含下列步骤：

获得训练数据集，所述训练数据集包含多个文本样本，每个文本样本包含一个或多个句子；

利用所述训练数据集对第一神经网络模型进行预训练以改善所述第一神经网络模型与关联于所述训练数据集的应用领域之间的适配性，其中，所述第一神经网络模型配置为对文本样本中的句子进行语义分类以得到该文本样本的特征向量；

由经过预训练的第一神经网络模型生成第二神经网络模型，其中，第二神经网络模型的层数少于经过预训练的第一神经网络模型的层数；以及

将所述第二神经网络模型连接到输出层以生成文本意图分类器。

2.如权利要求1所述的方法，其中，获得训练数据集的步骤包括：

输入原始训练数据集；以及

对所述原始训练数据集中的文本样本进行预处理以生成所述训练数据集中的文本样本，所述预处理包括文本清洗和去除停用词。

3.如权利要求1所述的方法，其中，所述第一神经网络模型为下列模型中的一种：BERT模型、XLNET模型和ALBERT模型。

4.如权利要求2或3所述的方法，其中，利用所述训练数据集对第一神经网络模型进行预训练的步骤包括：

对文本样本中所包含的句子进行分词处理；

对所划分的单词进行命名实体识别；以及

利用掩码语言模型来对所述第一神经网络模型进行微调以得到经过预训练的第一神经网络模型，其中，掩码语言模型中被随机遮罩的对象为经命名实体识别的单词。

5.如权利要求1所述的方法，其中，通过知识蒸馏方法由经过预训练的第一神经网络模型生成第二神经网络模型。

6.如权利要求5所述的方法，其中，由经过预训练的第一神经网络模型生成第二神经网络模型的步骤包括：

从经过预训练的第一神经网络模型中抽取一部分的层以构建精简的神经网络模型；以及

利用经过预训练的第一神经网络模型对精简的神经网络模型进行训练以得到所述第二神经网络模型。

7.如权利要求6所述的方法，其中，在对精简的神经网络模型进行训练时采用下列损失函数L_PT：

。

8.如权利要求1所述的方法，其中，所述输出层包含softmax映射器。

9.一种用于生成文本意图分类器的装置，包括：

存储器；

处理器；以及

存储在所述存储器上并可在所述处理器上运行以执行如权利要求1-8中任意一项所述的方法中的步骤的计算机程序。

10.一种用于对文本意图进行分类的方法，其特征在于，包含下列步骤：

输入文本；以及

利用由如权利要求1-8中任意一项所述的方法生成的文本意图分类器来确定所输入文本的类别。

11.如权利要求10所述的方法，其中，确定所输入文本的类别的步骤包括：

利用第二神经网络模型对所输入文本中的句子进行语义分类以得到所输入文本的特征向量；

利用输出层，由所输入文本的特征向量确定所输入文本属于各个类别的概率值；以及

将所输入文本确定为属于最大概率值所对应的类别。