[发明专利]基于语言模型的语言识别方法、文本分类方法和装置

说明书

本申请涉及一种基于语言模型的语言识别方法、文本分类方法和装置、计算机设备和存储介质，包括：获取训练语句对应的训练词向量，将其分别输入到待训练的第一模型和已训练的第二模型中，得到第一模型的各个第一网络层输出的特征矩阵，以及第二模型的各个第二网络层输出的特征矩阵；第一网络层和第二网络层一一对应，第一模型的网络层层数小于第二模型的网络层层数；将各个第一网络层输出的特征矩阵与各个第一网络层所对应的第二网络层输出的特征矩阵进行相似计算，得到各个相似度，基于各个相似度调整第一模型的模型参数，直到更新后的目标相似度满足收敛条件，得到已训练的第一模型，通过第一模型进行语言识别。采用本方法能够提高模型训练效率。

技术领域

本申请涉及互联网技术领域，特别是涉及一种基于语言模型的语言识别方法、文本分类方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，出现了神经网络模型，神经网络模型可以用于处理各种NLP（Natural Language Processing，自然语言处理）任务。大型的神经网络模型通过知识蒸馏可以压缩为小型的神经网络模型。

传统技术中，对大型的神经网络模型的知识蒸馏方法通常为基于具体的NLP任务，对大型的神经网络模型进行知识蒸馏得到小型的神经网络模型，例如，基于文本相似度匹配任务定义对大型的神经网络模型知识蒸馏得到轻量级的神经网络模型的损失函数。

然而，基于具体的NLP任务进行知识蒸馏得到的神经网络模型只能应用于某一NLP任务，具有较大的局限性。当涉及其他NLP任务时，需要重新定义损失函数，重新进行知识蒸馏。由于大型的神经网络模型参数复杂，重新进行知识蒸馏会耗费较多的时间，导致模型训练效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高模型训练效率、节约资源的基于语言模型的语言识别方法、文本分类方法、装置、计算机设备和存储介质。

一种基于语言模型的语言识别方法，所述方法包括：

获取训练语句对应的训练词向量；

将训练词向量分别输入到待训练的第一模型和已训练的第二模型中，得到第一模型的各个第一网络层输出的特征矩阵，以及第二模型的各个第二网络层输出的特征矩阵；第一网络层与第二网络层一一对应，第一模型的网络层层数小于第二模型的网络层层数；

将各个第一网络层输出的特征矩阵与各个第一网络层所对应的第二网络层输出的特征矩阵进行相似计算，得到各个相似度，基于各个相似度得到目标相似度；

根据目标相似度调整第一模型的模型参数，直到更新后的目标相似度满足收敛条件，得到已训练的第一模型，并通过第一模型进行语言识别。

一种基于语言模型的语言识别装置，所述装置包括：

向量获取模块，用于获取训练语句对应的训练词向量；

特征矩阵输出模块，用于将训练词向量分别输入到待训练的第一模型和已训练的第二模型中，得到第一模型的各个第一网络层输出的特征矩阵，以及第二模型的各个第二网络层输出的特征矩阵；第一网络层与第二网络层一一对应，第一模型的网络层层数小于第二模型的网络层层数；

相似度计算模块，用于将各个第一网络层输出的特征矩阵与各个第一网络层所对应的第二网络层输出的特征矩阵进行相似计算，得到各个相似度，基于各个相似度得到目标相似度；

语言识别模块，用于根据目标相似度调整第一模型的模型参数，直到更新后的目标相似度满足收敛条件，得到已训练的第一模型，并通过第一模型进行语言识别。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取训练语句对应的训练词向量；