[发明专利]针对多任务模型的训练方法及装置

说明书

本说明书实施例提供一种针对多任务模型的训练方法，其中多任务模型包括语义编码层，针对搜索交互场景的搜索输出层以及针对问答交互场景的问答输出层，其中训练方法包括：首先，获取搜索交互场景和问答交互场景下采集的多个训练样本；然后，对于其中任意的第一样本，至少将其中的用户输入文本输入语义编码层，得到语义向量，并且，将语义向量分别输入搜索输出层和问答输出层；进一步地，根据第一样本所对应的采集场景，从对应场景的输出层获取预测结果，并结合第一样本中的样本标签，确定所述第一样本对应的预测损失；最后，基于多个训练样本各自对应的预测损失之和，调整所述多任务模型的参数。

技术领域

本说明书实施例涉及自然语言处理技术领域，具体地，涉及一种针对多任务模型的训练方法及装置。

背景技术

目前，有些智能客服系统包括问答系统和搜索系统。其中问答系统用于为用户提供问答式服务，比如说，用户可以在与机器人客服的会话界面中，针对其遇到的业务问题输入描述语句，然后机器人客服根据描述语句确定对应的标准问题，并将确定出的标准问题和对应的解答方案提供给用户。其中搜索系统用于为用户提供搜索式服务，比如说，用户可以在搜索框中输入一些关键词，然后搜索系统根据这些关键词匹配出一些可能的标准问题，并以列表的形式提供给用户，在用户对其中某个标准问题进行确认的情况下，再将该某个标准问题对应的解答方案展示给用户。

由上可知，对于问答系统和搜索系统而言，为将符合用户需要的解答方案提供给用户，精准确定用户意图，即用户想要咨询的标准问题十分重要。随着机器学习的兴起，可以通过建立机器学习模型实现对用户意图的确定。这就对问答系统和搜索系统中各自部署的机器学习模型的模型性能均提出了较高要求。

因此，迫切需要一种合理的方案，可以提高机器学习模型预测用户意图的准确度，同时，降低训练机器学习模型时占用的训练资源。

发明内容

本说明书一个或多个实施例描述一种针对多任务模型的训练方法及装置,可以实现不同任务中训练数据的复用，同时降低模型训练的成本和开销。

根据第一方面，本说明实施例提供一种针对多任务模型的训练方法，所述多任务模型包括语义编码层，针对搜索交互场景的搜索分类层，以及针对问答交互场景的问答分类层，所述方法包括：获取多个训练样本，其中包括所述搜索交互场景下采集的若干搜索训练样本和所述问答交互场景下采集的若干问答训练样本，所述多个训练样本中每个训练样本至少包括用户输入文本和对应的标准文本类别标签；对于所述多个训练样本中任意的第一样本，至少将其中的用户输入文本输入所述语义编码层，得到语义向量，并且，将所述语义向量分别输入所述搜索分类层和所述问答分类层；当所述第一样本属于所述若干搜索训练样本时，基于所述搜索分类层输出的分类结果和所述第一样本中的标准文本类别标签，确定所述第一样本对应的预测损失；当所述第一样本属于所述若干问答训练样本时，基于所述问答分类层输出的分类结果和所述第一样本中的标准文本类别标签，确定所述第一样本对应的预测损失；基于所述多个训练样本各自对应的预测损失之和，调整所述多任务模型的参数。

在一个实施例中，每个训练样本中还包括业务代码，用于指示在跳转至用户输入文本的输入界面之前显示的界面所对应的业务；所述至少将其中的用户输入文本输入所述语义编码层，包括：将所述用户输入文本和所述业务代码进行拼接后，输入所述语义编码层。