[发明专利]多任务学习模型的预测方法及装置

说明书

本公开提供了一种多任务学习模型的预测方法及装置，所述方法包括：利用掩码对嵌入向量进行加权，得到加权后的嵌入向量；将加权后的嵌入向量输入第一子网络层和第三子网络层，得到第一子网络层的第一输出向量和第三子网络层的第二输出向量；将第一输出向量和第二输出向量输入第二子网络层进行处理，得到第三输出向量，处理包括利用第二子网络层的中的第一编码变量对第一输出向量进行计算，利用第二子网络层的中的第二编码变量对第二输出向量进行计算，其中第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连接关系，第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。

技术领域

本公开涉及机器学习技术领域，尤其涉及一种多任务学习模型的预测方法、使用方法及装置。

背景技术

多任务学习模型可以在机器学习过程中实现多个任务的参数共享，从而实现了多个任务共同学习。当任务之间的相关性较弱时，多任务学习的学习效果较差。针对该问题，基于子网络路由的多任务学习模型包括编码变量，编码变量用于对多任务学习模型中的子网络层之间的连接关系进行编码，实现了子网络层间的稀疏连接，从而减小相关性较低的任务之间的参数共享，进而提高了相关性较弱的多任务学习效果。

发明内容

有鉴于此，本公开提供了一种多任务学习模型的预测方法及装置，以进一步改善多任务学习的学习效果。

第一方面，本公开提供了一种多任务学习模型的预测方法，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层和第二子网络层，所述任务共享子网络包括第三子网络层；所述方法包括：将待处理的任务数据输入所述嵌入层，得到所述嵌入层的嵌入向量；利用掩码对所述嵌入向量进行加权，得到加权后的嵌入向量；将所述加权后的嵌入向量输入所述第一子网络层和所述第三子网络层，得到所述第一子网络层的第一输出向量和所述第三子网络层的第二输出向量；将所述第一输出向量和所述第二输出向量输入第二子网络层进行处理，得到第三输出向量，所述处理包括利用第二子网络层的中的第一编码变量对所述第一输出向量进行计算，利用第二子网络层的中的第二编码变量对所述第二输出向量进行计算，其中所述第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连接关系，所述第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。

第二方面，本公开提供了一种基于多任务学习模型的预测装置，所述多任务学习模型包括嵌入层、第一任务子网络、第二任务子网络以及任务共享子网络，所述第一任务子网络包括第一子网络层和第二子网络层，所述任务共享子网络包括第三子网络层；所述装置包括：嵌入模块，用于将待处理的任务数据输入所述嵌入层，得到所述嵌入层的嵌入向量；特征筛选模块，用于利用掩码对所述嵌入向量进行加权，得到加权后的嵌入向量；嵌入向量处理模块，用于将所述加权后的嵌入向量输入所述第一子网络层和所述第三子网络层，得到所述第一子网络层的第一输出向量和所述第三子网络层的第二输出向量；神经元级稀疏共享模块，用于将所述第一输出向量和所述第二输出向量输入第二子网络层进行处理，得到第三输出向量，所述处理包括利用第二子网络层的中的第一编码变量对所述第一输出向量进行计算，利用第二子网络层的中的第二编码变量对所述第二输出向量进行计算，其中所述第一编码变量指示第一子网络层中神经元与第三子网络层中神经元之间的连接关系，所述第二编码变量指示第二子网络层中神经元与第三子网络层中神经元之间的连接关系。