[发明专利]一种多任务学习模型训练的方法及相关装置

权利要求书

1.一种多任务学习模型训练的方法，其特征在于，应用于安装输入法应用程序的设备，包括：

将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，所述共享编码层是指所述多任务深度神经网络中多个深度神经网络共享的编码层；

基于所述训练数据的目标任务标识将所述训练数据的语句向量输入对应的深度神经网络的解码层获得所述训练数据的训练结果；

基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型。

2.根据权利要求1所述的方法，其特征在于，所述共享编码层包括共享词向量层和共享语句向量层，所述将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，包括：

将所述多个目标任务的训练数据输入所述多任务深度神经网络的共享词向量层获得所述训练数据对应的词向量；

将所述训练数据对应的词向量输入所述多任务深度神经网络的共享语句向量层获得所述训练数据的语句向量。

3.根据权利要求1所述的方法，其特征在于，所述训练的方法包括深度学习反向传播算法和Adam优化算法。

4.根据权利要求3所述的方法，其特征在于，所述基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型，包括：

基于所述训练数据的训练结果、所述训练数据的标记结果获得对应的深度神经网络的损失函数；

根据所述损失函数更新所述多任务深度神经网络的网络参数获得所述目标多任务学习模型。

5.根据权利要求4所述的方法，其特征在于，所述训练结束条件为所述多任务深度神经网络中多个所述深度神经网络的损失函数均收敛或所述多任务深度神经网络的迭代次数达到预设迭代次数。

6.根据权利要求2所述的方法，其特征在于，所述多个目标任务包括输入联想任务、智能回复任务和智能纠错任务中任意两个或三个。

7.根据权利要求6所述的方法，其特征在于，所述共享语句向量层包括长短期记忆模型；所述输入联想任务对应的深度神经网络包括所述共享词向量层、所述长短期记忆模型和所述全连接层，所述智能回复任务对应的深度神经网络包括包括所述共享词向量层、所述长短期记忆模型和所述全连接层，所述智能纠错任务对应的深度神经网络包括所述共享词向量层和seq2seq模型。

8.一种多任务学习模型训练的装置，其特征在于，应用于安装输入法应用程序的设备，包括：

语句向量获得单元，用于将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，所述共享编码层是指所述多任务深度神经网络中多个深度神经网络共享的编码层；

训练结果获得单元，用于基于所述训练数据的目标任务标识将所述训练数据的语句向量输入对应的深度神经网络的解码层获得所述训练数据的训练结果；

目标多任务学习模型获得单元，用于基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型。

9.一种用于多任务学习模型训练的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，所述共享编码层是指所述多任务深度神经网络中多个深度神经网络共享的编码层；

基于所述训练数据的目标任务标识将所述训练数据的语句向量输入对应的深度神经网络的解码层获得所述训练数据的训练结果；

基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型。

10.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至7中一个或多个所述的多任务学习模型训练的方法。