[发明专利]多任务模型的训练方法及装置

说明书

本说明书实施例提供一种多任务模型的训练方法及装置，在训练方法中，获取训练样本集，该训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签。对于任意的第一训练样本，将其中的输入文本输入文本编码层，得到输入文本的文本向量。从文本向量中确定出多个答案中各答案的语义向量。将各答案的语义向量输入问答相关性分类层，通过输出得到第一预测结果。基于第一预测结果和第一标签，确定第一预测损失。将文本向量输入答案选择层，通过输出得到第二预测结果。基于第二预测结果和第二标签，确定第二预测损失。基于训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整多任务模型的参数。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种多任务模型的训练方法及装置。

背景技术

在智能客服场景中，为实现用户问题的解答，通常会训练多种任务。这里的多种任务例如可以为问答相关性任务或者答案选择任务等。其中，问答相关性任务是指从用户与客服的多个历史会话对(一个历史会话对包括一个用户问句和一个答案)中，选择出与当前问题相关性最高的答案。答案选择任务是指从输入文本(当前问题+多个历史会话对)中，确定出可回答当前问题的内容所在的位置。这里的可回答当前问题的内容可以为某个历史会话对的答案的部分或者全部内容。

对于如上所述的多种任务，传统技术中通常会一一进行单独训练。如，针对每个任务，会基于对应于该任务的训练样本，训练相应的机器学习模型。

因此，需要提供一种方案，以提升多任务的训练效率。

发明内容

本说明书一个或多个实施例描述了一种多任务模型的训练方法及装置，可以降低模型训练的成本和开销。

第一方面，提供了一种多任务模型的训练方法，包括：

获取训练样本集；所述训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签，所述多个历史会话对中的每个历史会话对包括一个用户问句和一个答案；所述第一标签指示所述多个历史会话对的多个答案中与所述问题相关性最高的答案；所述第二标签指示可回答所述问题的内容在所述输入文本中的真实位置；所述可回答所述问题的内容包含在所述多个答案的第i个答案中；

对于所述训练样本集中任意的第一训练样本，将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量；

从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量；

将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果；基于所述第一预测结果和所述第一标签，确定第一预测损失；

将所述输入文本的文本向量输入所述答案选择层，通过所述答案选择层的输出得到第二预测结果；基于所述第二预测结果和所述第二标签，确定第二预测损失；

基于所述训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整所述多任务模型的参数。

第二方面，提供了一种多任务模型的训练装置，包括：

获取单元，用于获取训练样本集；所述训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签，所述多个历史会话对中的每个历史会话对包括一个用户问句和一个答案；所述第一标签指示所述多个历史会话对的多个答案中与所述问题相关性最高的答案；所述第二标签指示可回答所述问题的内容在所述输入文本中的真实位置；所述可回答所述问题的内容包含在所述多个答案的第i个答案中；

输入单元，用于对于所述获取单元获取的所述训练样本集中任意的第一训练样本，将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量；

确定单元，用于从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量；