[发明专利]多任务模型的训练方法及装置

权利要求书

1.一种多任务模型的训练方法，所述多任务模型包括文本编码层、问答相关性分类层和答案选择层；所述方法包括：

获取训练样本集；所述训练样本集中的每个样本包括由一个问题和多个历史会话对组成的输入文本、第一标签和第二标签，所述多个历史会话对中的每个历史会话对包括一个用户问句和一个答案；所述第一标签指示所述多个历史会话对的多个答案中与所述问题相关性最高的答案；所述第二标签指示可回答所述问题的内容在所述输入文本中的真实位置；所述可回答所述问题的内容包含在所述多个答案的第i个答案中；

对于所述训练样本集中任意的第一训练样本，将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量；

从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量；

将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果；基于所述第一预测结果和所述第一标签，确定第一预测损失；

将所述输入文本的文本向量输入所述答案选择层，通过所述答案选择层的输出得到第二预测结果；基于所述第二预测结果和所述第二标签，确定第二预测损失；

基于所述训练样本集中各样本的第一预测损失与第二预测损失的融合结果，调整所述多任务模型的参数。

2.根据权利要求1所述的方法，所述第一预测结果包括所述问题与所述多个答案中各答案的预测相关性得分；

所述基于所述第一预测结果和所述第一标签，确定第一预测损失，包括：

基于所述第一标签，确定所述问题与所述多个答案中各答案的真实相关性得分；

计算所述真实相关性得分与所述预测相关性得分之间的交叉熵；

将计算得到的交叉熵作为所述第一预测损失。

3.根据权利要求1所述的方法，所述第二标签的个数为两个，其中，一个第二标签指示可回答所述问题的内容在所述输入文本中的真实开始位置，另一个第二标签指示可回答所述问题的内容在所述输入文本中的真实结束位置；所述第二预测结果包括预测开始位置和预测结束位置；

所述基于所述第二预测结果和所述第二标签，确定第二预测损失，包括：

计算所述一个第二标签与所述预测开始位置之间的第一交叉熵，并计算所述另一个第二标签与所述预测结束位置之间的第二交叉熵；

对所述第一交叉熵和所述第二交叉熵求平均，将求平均结果作为所述第二预测损失。

4.根据权利要求1所述的方法，所述将其中的输入文本输入所述文本编码层，得到所述输入文本的文本向量，包括：

向所述输入文本中添加用于标识所述多个历史会话对中各答案的多个特殊符号；

将添加所述特殊符号后的所述输入文本输入所述文本编码层，得到所述输入文本的文本向量，所述文本向量至少包含所述多个特殊符号各自的编码向量；

所述从所述输入文本的文本向量中确定出所述多个答案中各答案的语义向量，包括：

对于所述多个答案中任意的第一答案，将所述多个特殊符号中用于标识所述第一答案的第一特殊符号的编码向量作为所述第一答案的语义向量。

5.根据权利要求1所述的方法，所述第一预测结果包括所述问题与所述多个答案中各答案的预测相关性得分；所述问答相关性分类层包括多个二分类分类器；

所述将所述多个答案中各答案的语义向量输入所述问答相关性分类层，通过所述问答相关性分类层的输出得到第一预测结果，包括：

将所述多个答案中各答案的语义向量输入相应的所述多个二分类分类器，通过所述多个二分类分类器的输出，得到所述问题与所述多个答案中各答案的预测相关性得分。

6.根据权利要求5所述的方法，其中，每个二分类分类器包括一个全连接层和一个softmax层。