[发明专利]一种模型训练的方法、相关装置及设备

说明书

本申请实施例公开了一种模型训练的方法、相关装置及设备，用于提高模型生成译文的连贯性以及准确性。本申请实施例方法包括：获取源端文本集合、目标文本集合以及训练样本对，将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，输出第一文本序列、第二文本序列以及文本相似度，第一文本序列以及第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度，将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，第三文本序列对应于第二语种，根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种模型训练的方法、相关装置及设备。

背景技术

随着互联网技术和数字技术地快速发展，基于神经网络的对话生成在开放域对话系统中引起了广泛的研究兴趣。由于多轮对话在日常生活中被广泛，因此多轮对话的翻译也对上下文一致性提出了更严格的要求。

传统的对话翻译方法通常将对话历史中各个轮次的语句视为相互独立的句子，然后进行单独的语义编码，但是由于多轮对话产生于一个连贯一致的交流过程，其中涉及的各个轮次的语句是前后关联的，所以对话历史中相邻的语句间存在显式的回复关系，如果单独编码这些语句却不考虑它们之间的语义关系，那么就很可能无法捕获对话历史中篇章级别的连贯关系，导致获取到的对话翻译文本存在语义断层或语义不连贯的情况，从而导致获取多轮对话翻译的准确性降低。

发明内容

本申请实施例提供了一种模型训练处理的方法、相关装置及设备，用于对话理解模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，能够通过不断学习文本语种变化的特征以及文本之间的关联程度，来增强文本翻译模型对文本之间的连贯性学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

有鉴于此，本申请一方面提供一种模型训练的方法，包括：

获取源端文本集合、目标文本集合以及训练样本对，其中，源端文本集合包括第一语种对应的源端文本，目标文本集合包括第二语种对应的目标文本，训练样本对包括第一语种对应的初始源端文本以及第二语种对应的期望目标文本；

将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，第一文本序列对应于第二语种，第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度；

将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，其中，第三文本序列对应于第二语种；

根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。

本申请的另一方面提供一种模型训练的装置，包括：

获取单元，用于获取源端文本集合、目标文本集合以及训练样本对，其中，源端文本集合包括第一语种对应的源端文本，目标文本集合包括第二语种对应的目标文本，训练样本对包括第一语种对应的初始源端文本以及第二语种对应的期望目标文本；

处理单元，用于将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，第一文本序列对应于第二语种，第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度；

处理单元，还用于将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，其中，第三文本序列对应于第二语种；

处理单元，还用于根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。