[发明专利]自然语言处理的方法和产品

说明书

本公开的实施例涉及自然语言处理的方法和产品。在该方法中，包括：基于第一语言的语料的表示，生成第一语义编码向量；基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量。该方法还包括：通过混合第一语义编码向量和第二语义编码向量，生成混合语义向量。该方法还包括：基于混合语义向量，生成第二语言的语料的混合表示。本公开的实施例还涉及一种训练自然语言模型的方法、装置。通过使用这种方法，有效地提高了不同语言之间的转换的准确性，降低了语义学习的成本，从而既使得下游任务的执行结果更准确，也降低了计算资源的开销。

技术领域

本公开的各实施例涉及自然语言处理技术领域，更具体地，涉及不同语言的语义转换的方法、装置、设备、介质和程序产品。

背景技术

一些经过预训练的自然语言模型可以处理跨不同语言的语料之间的转换任务。但是，源语言和目标语言都需要是常见的语言，并且目标语言的语料依然会丢失语义信息。特别是当两种语言是跨语系的语言时，这种丢失语义信息的情况会非常明显，甚至影响到下游任务的继续执行。而且，当没有足够多的预先标注的语料作为样本数据时，根本不可能训练出对应的自然语言模型。

为了提升自然语言模型的准确性，可以使用更多的预先标注的语料来训练模型。但是，获取预先标注的语料的成本通常较高。而且，更多的训练数据也使模型变得复杂，带来的计算资源的开销也很大。类似问题也存在于其他需要执行跨语言转换任务的模型中。

发明内容

本公开的实施例提供了一种自然语言处理的方法、装置、设备、介质和程序产品。

在本公开的第一方面中，提供了一种用于自然语言处理的方法。该方法包括：基于第一语言的语料的表示，生成第一语义编码向量；基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量；通过混合第一语义编码向量和第二语义编码向量，生成混合语义向量；以及基于混合语义向量，生成第二语言的语料的混合表示。

在本公开的第二方面中，提供了一种用于训练自然语言处理模型的方法。该方法包括：获取样本数据，样本数据包括第一语言的语料的表示以及第二语言的语料的表示；获取针对第一语言的语料和第二语言的语料预先标注的样本标签；以及利用样本数据和样本标签训练自然语言处理模型。

在本公开的第三方面中，提供了一种用于自然语言处理的装置。该装置包括：第一语义向量模块，被配置为基于第一语言的语料的表示，生成第一语义编码向量；第二语义向量模块，被配置为基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量；混合语义向量模块，被配置为通过混合第一语义编码向量和第二语义编码向量，生成混合语义向量；以及混合表示模块，被配置为基于混合语义向量，生成第二语言的语料的混合表示。

在本公开的第四方面中，提供了一种用于训练自然语言处理模型的装置。该装置包括：样本数据模块，被配置为获取样本数据，样本数据包括第一语言的语料的表示以及第二语言的语料的表示；样本标签模块，被配置为获取针对第一语言的语料和第二语言的语料预先标注的样本标签；以及训练模块，被配置为利用样本数据和样本标签训练自然语言处理模型。

在本公开的第五方面中，提供了一种电子设备。该电子设备包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面或者第二方面所述的方法。

在本公开的第六方面中，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面或者第二方面所述的方法。

在本公开的第七方面中，提供了一种计算机程序产品。该计算机程序产品包括一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面或者第二方面所述的方法。