[发明专利]学生网络模型的生成方法、装置、设备及存储介质

权利要求书

1.一种用于自然语言处理的学生网络模型的生成方法，所述学生网络模型用于对用户输入的语音或者文字进行预测，其特征在于，包括：

获取目标领域的教师网络模型；

通过所述教师网络模型对第一训练样本进行预测以生成第一预测结果，其中，所述第一训练样本为语料；以及

将所述第一训练样本和所述第一预测结果输入自动机器学习模型以生成所述教师网络模型所对应的用于自然语言处理的学生网络模型，其中，所述自动机器学习模型用于根据所述第一训练样本和所述第一预测结果训练所述学生网络模型的网络结构；

其中，所述将所述第一训练样本和所述第一预测结果输入自动机器学习模型以生成所述教师网络模型所对应的用于自然语言处理的学生网络模型，包括：

获取多个基本网络结构，每个所述基本网络结构包括多个基本网络单元，从所述第一训练样本和所述第一预测结果之中提取第一训练样本集合和第二训练样本集合，其中所述第二训练样本集合之中的训练样本数量大于所述第一训练样本集合之中的训练样本数量，根据所述第一训练样本集合对所述每个基本网络结构之中的所述多个基本网络单元进行初步训练，并在初步训练之后的所述多个基本网络结构满足初步评价指标时，进一步根据所述第二训练样本集合对满足所述初步评价指标之后的所述每个基本网络结构之中的所述多个基本网络单元进行继续训练，以生成每个所述基本网络结构包括的所述多个基本网络单元的参数，并将训练之后的所述多个基本网络结构之中满足所述学生网络模型的评价指标的基本网络结构作为所述学生网络模型。

2.如权利要求1所述的用于自然语言处理的学生网络模型的生成方法，其特征在于，还包括：

获取所述学生网络模型的评价指标。

3.如权利要求2所述的用于自然语言处理的学生网络模型的生成方法，其特征在于，还包括：

根据所述评价指标生成初步评价指标。

4.如权利要求2所述的用于自然语言处理的学生网络模型的生成方法，其特征在于，所述评价指标包括速度指标和/或精度指标，所述方法还包括：

如果所述多个基本网络结构均不满足所述速度指标和/或精度指标，则使用速度更快和/或精度更高的备选基本网络单元对所述每个基本网络结构之中的基本网络单元进行替换。

5.如权利要求1所述的用于自然语言处理的学生网络模型的生成方法，其特征在于，所述获取目标领域的教师网络模型，包括：

根据无标注且无领域的训练样本生成预训练模型；以及

根据所述目标领域的已标注训练样本对所述预训练模型进行训练以生成所述教师网络模型。

6.如权利要求5所述的用于自然语言处理的学生网络模型的生成方法，其特征在于，所述第一训练样本为所述目标领域的无标注训练样本。

7.如权利要求1所述的用于自然语言处理的学生网络模型的生成方法，其特征在于，在所述将训练之后的所述多个基本网络结构之中满足所述学生网络模型的评价指标的基本网络结构作为所述学生网络模型之前，还包括：

获取训练之后的每个基本网络结构对应的运行指标；

根据所述每个基本网络结构对应的运行指标与所述评价指标，判断训练后的所述每个基本网络结构是否满足所述评价指标。