[发明专利]跨语言跨模态模型的预训练方法、设备和存储介质

说明书

本公开提供了跨语言跨模态模型的预训练方法、设备和存储介质，涉及深度学习、自然语言处理、计算机视觉等人工智能技术领域，可应用于智慧城市场景。具体实现方案为：在结合训练数据对跨语言跨模态模型进行预训练的过程中，根据图文配对数据和图文非配对数据，对跨语言跨模态模型进行预训练，并根据文本配对数据和文本非配对数据，对跨语言跨模态模型进行预训练，由此，提出了一种对跨语言跨模态模型进行预训练的新方式，从而可使得所预训练出的跨语言跨模态模型可以满足跨语言跨模态场景的需求。

技术领域

本公开涉及计算机技术领域，具体涉及深度学习、自然语言处理、计算机视觉等人工智能技术领域，可应用于智慧城市场景，尤其涉及跨语言跨模态模型的预训练方法、设备和存储介质。

背景技术

大规模的预训练模型由于其强大的泛化能力和对规模数据的高效利用而得到了广泛关注。相关技术中的预训练方法大多仅用于单模态场景，然而，对于面向多语言以及多模态的场景中，如何得到一个可面向多语言的多模态模型是目前亟需的技术问题。

发明内容

本公开提供了一种用于跨语言跨模态模型的预训练方法、设备和存储介质。

根据本公开的一方面，提供了一种跨语言跨模态模型的预训练方法，包括：获取训练数据，其中，所述训练数据包括：图文配对数据、图文非配对数据、文本配对数据和文本非配对数据，其中，所述文本配对数据中两个文本的语义相同，而语言类型是不同的，所述文本非配对数据中的两个文本的语义不同，并且语言类型也是不同的；根据所述图文配对数据和所述图文非配对数据，对跨语言跨模态模型进行预训练；根据所述文本配对数据和所述文本非配对数据，对所述跨语言跨模态模型进行预训练。

根据本公开的另一方面，提供了一种跨语言跨模态模型的预训练装置，包括：获取模块，用于获取训练数据，其中，所述训练数据包括：图文配对数据、图文非配对数据、文本配对数据和文本非配对数据，其中，所述文本配对数据中两个文本的语义相同，而语言类型是不同的，所述文本非配对数据中的两个文本的语义不同，并且语言类型也是不同的；第一预训练模块，用于根据所述图文配对数据和所述图文非配对数据，对跨语言跨模态模型进行预训练；第二预训练模块，用于根据所述文本配对数据和所述文本非配对数据，对所述跨语言跨模态模型进行预训练。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的跨语言跨模态模型的预训练方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的跨语言跨模态模型的预训练方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开的跨语言跨模态模型的预训练方法。

上述申请中的一个实施例具有如下优点或有益效果：

在结合训练数据对跨语言跨模态模型进行预训练的过程中，根据图文配对数据和图文非配对数据，对跨语言跨模态模型进行预训练，并根据文本配对数据和文本非配对数据，对跨语言跨模态模型进行预训练，由此，提出了一种对跨语言跨模态模型进行预训练的新方式，从而可使得所预训练出的跨语言跨模态模型可以满足跨语言跨模态场景的需求。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第一实施例的示意图；