[发明专利]一种模型训练和意图识别方法、装置、设备及存储介质

权利要求书

1.一种基于知识蒸馏的模型训练方法，所述方法包括：

根据训练任务数据集，对预训练模型进行至少两次沉淀训练，得到所述预训练模型的强化模型；其中，各次所述沉淀训练的训练对象至少包括底层网络、预测层网络和逐次递减的中高层网络，所述预训练模型自底向上包括所述底层网络、至少一个所述中高层网络和所述预测层网络；

将所述强化模型中的至少两个网络作为目标网络，并根据所述目标网络构建蒸馏模型，其中，所述目标网络包含特征识别网络和所述预测层网络；所述特征识别网络至少包括所述底层网络；

通过所述强化模型的目标网络，抽取所述训练任务数据集的目标知识；

根据所述目标知识和所述训练任务数据集，对所述蒸馏模型进行训练，得到目标学习模型；所述目标学习模型用于对用户语音数据进行意图识别。

2.根据权利要求1所述的方法，其中，所述底层网络和所述中高层网络用于进行特征识别；所述预测层网络用于根据识别的特征进行任务预测。

3.根据权利要求1所述的方法，其中，根据训练任务数据集，对预训练模型进行至少两次沉淀训练，包括：

将所述训练任务数据集进行划分，以确定多份训练数据子集；

根据设定沉淀训练次数，确定每份训练数据子集各自对应的训练对象；其中，各份训练数据子集对应的训练对象包括所述预训练模型的底层网络、中高层网络和预测层网络，且包括的所述中高层网络的层数与沉淀训练的顺序呈反比；

根据所述每份训练数据子集，对所述预训练模型中，该份训练数据子集对应的训练对象进行一次沉淀训练；

其中，训练数据子集的划分份数小于等于所述预训练模型的总层数。

4.根据权利要求3所述的方法，其中，各所述训练对象包括的中高层网络是与底层网络相邻且向上连续的网络层；且基于所述沉淀训练次数的增加，所述训练对象中包括的中高层网络的层数递减为零。

5.根据权利要求1所述的方法，其中，根据训练任务数据集，对预训练模型进行至少两次沉淀训练，得到所述预训练模型的强化模型，包括：

根据所述训练任务数据集，对所述预训练模型逐次进行沉淀训练；

根据测试任务数据集，对沉淀训练后的预训练模型进行测试；

若测试结果满足沉淀结束条件，则将所述沉淀训练后的预训练模型作为强化模型。

6.根据权利要求1所述的方法，其中，根据训练任务数据集，对预训练模型进行至少两次沉淀训练之前，还包括：

根据训练领域数据集，对预训练模型进行领域训练，更新所述预训练模型。

7.根据权利要求1所述的方法，其中，将所述强化模型中的至少两个网络作为目标网络，并根据所述目标网络构建蒸馏模型，包括：

将所述强化模型中的至少两个网络作为目标网络，并获取所述目标网络的网络结构块；

根据获取的所述网络结构块，构建与所述强化模型同结构的蒸馏模型。

8.根据权利要求1所述的方法，其中，将所述强化模型中的至少两个网络作为目标网络，并根据所述目标网络构建蒸馏模型，包括：

将所述强化模型中的至少两个网络作为目标网络；

根据所述目标网络，选择与所述强化模型结构不同的神经网络模型作为蒸馏模型，其中，所述神经网络模型的输出层网络与所述目标网络中预测层网络的类型一致，所述神经网络模型的非输出层网络与所述目标网络中特征识别网络的类型一致。

9.根据权利要求1所述的方法，其中，通过所述强化模型的目标网络，抽取所述训练任务数据集的目标知识，包括：

将所述训练任务数据集作为所述强化模型的输入，获取所述强化模型的特征识别网络输出的第一数据特征表示，和所述强化模型的预测层网络输出的第一预测概率表示；

将获取的所述第一数据特征表示和所述第一预测概率表示作为所述训练任务数据集的目标知识。