[发明专利]针对多任务模型的训练方法及装置

权利要求书

1.一种针对多任务模型的训练方法，所述多任务模型包括语义编码层，针对搜索交互场景的搜索分类层，以及针对问答交互场景的问答分类层，所述方法包括：

获取多个训练样本，其中包括所述搜索交互场景下采集的若干搜索训练样本和所述问答交互场景下采集的若干问答训练样本，所述多个训练样本中每个训练样本至少包括用户输入文本和对应的标准文本类别标签；

对于所述多个训练样本中任意的第一样本，至少将其中的用户输入文本输入所述语义编码层，得到语义向量，并且，将所述语义向量分别输入所述搜索分类层和所述问答分类层；

当所述第一样本属于所述若干搜索训练样本时，基于所述搜索分类层输出的分类结果和所述第一样本中的标准文本类别标签，确定所述第一样本对应的预测损失；

当所述第一样本属于所述若干问答训练样本时，基于所述问答分类层输出的分类结果和所述第一样本中的标准文本类别标签，确定所述第一样本对应的预测损失；

基于所述多个训练样本各自对应的预测损失之和，调整所述多任务模型的参数。

2.根据权利要求1所述的方法，其中，每个训练样本中还包括业务代码，用于指示在跳转至用户输入文本的输入界面之前显示的界面所对应的业务；所述至少将其中的用户输入文本输入所述语义编码层，包括：

将所述用户输入文本和所述业务代码进行拼接后，输入所述语义编码层。

3.一种针对多任务模型的训练方法，所述多任务模型包括语义编码层，针对搜索交互场景的搜索关联度预测层，以及针对问答交互场景的问答关联度预测层，所述方法包括：

获取多个训练样本，其中包括所述搜索交互场景下采集的若干搜索训练样本和所述问答交互场景下采集的若干问答训练样本，所述多个训练样本中每个训练样本至少包括历史文本对和对应的文本关联标签，所述历史文本对包括用户输入文本和对应的标准文本；

对于所述多个训练样本中任意的第一样本，至少将其中的历史文本对输入所述语义编码层，得到语义向量，并且，将所述语义向量分别输入所述搜索关联度预测层和所述问答关联度预测层；

当所述第一样本属于所述若干搜索训练样本时，至少基于所述搜索关联度预测层输出的预测结果和所述第一样本中的文本关联标签，确定与所述第一样本相关的预测损失；

当所述第一样本属于所述若干问答训练样本时，基于所述问答关联度预测层输出的预测结果和所述第一样本中的文本关联标签，确定所述第一样本相关的预测损失；

基于所述多个训练样本各自相关的预测损失之和，调整所述多任务模型的参数。

4.根据权利要求3所述的方法，其中，每个训练样本中还包括业务代码，用于指示在跳转至用户输入文本的输入界面之前显示的界面所对应的业务；所述至少将其中的历史文本对输入所述语义编码层，包括：

至少将所述历史文本对和所述业务代码组成的第一输入序列，输入所述语义编码层。

5.根据权利要求4所述的方法，其中，至少将所述历史文本对和所述业务代码组成的第一输入序列，输入所述语义编码层，包括：

基于预先设定的用于区分用户输入文本、标准文本和业务代码的三种字符，确定与所述第一输入序列对应的第二输入序列；

将所述第一输入序列和所述第二输入序列共同输入所述语义编码层。

6.根据权利要求3所述的方法，其中，所述文本关联标签指示对应的用户输入文本和标准文本之间是否相关联。