[发明专利]跨语言跨模态模型的预训练方法、设备和存储介质

权利要求书

1.一种跨语言跨模态模型的预训练方法，包括：

获取训练数据，其中，所述训练数据包括：图文配对数据、图文非配对数据、文本配对数据和文本非配对数据，其中，所述文本配对数据中两个文本的语义相同，而语言类型是不同的，所述文本非配对数据中的两个文本的语义不同，并且语言类型也是不同的；

根据所述图文配对数据和所述图文非配对数据，对跨语言跨模态模型进行预训练；

根据所述文本配对数据和所述文本非配对数据，对所述跨语言跨模态模型进行预训练；

其中，所述跨语言跨模态模型包括跨语言编码器和图像编码器，所述根据所述文本配对数据和所述图文非配对数据，对跨语言跨模态模型进行预训练，包括：

将所述图文配对数据中的文本输入到所述跨语言编码器中，以得到所述图文配对数据中的文本的第一文本特征，并将所述图文配对数据中的图像输入到所述图像编码器中，以得到所述图文配对数据中的图像的第一图像特征；

将所述图文非配对数据中的文本输入到所述跨语言编码器中，以得到所述图文非配对数据中文本的第二文本特征，并将所述图文非配对数据中的图像输入到所述图像编码器，以得到所述图文非配对数据中图像的第二图像特征；

根据所述第一图像特征和所述第一文本特征确定所述图文配对数据中图像和文本之间的第一距离，并根据所述第二图像特征和所述第二文本特征确定所述图文非配对数据中图像和文本之间的第二距离；

根据所述第一距离和所述第二距离，对所述跨语言跨模态模型进行预训练；

其中，所述跨语言跨模态模型还包括跨语言跨模态编码器，所述方法还包括：

对所述图文配对数据中文本的待掩码字符进行掩码处理，以得到掩码文本；

将所述掩码文本输入到所述跨语言编码器中，以得到所述掩码文本的第三文本特征；

将所述第一图像特征和所述第三文本特征输入到所述跨语言跨模态编码器中，以得到第三融合特征；

获取所述第三融合特征所确定出的预测掩码字符；

根据所述预测掩码字符和所述待掩码字符，对所述跨语言跨模态模型进行预训练。

2.根据权利要求1所述的方法，其中，所述根据所述文本配对数据和所述文本非配对数据，对所述跨语言跨模态模型进行预训练，包括：

将所述文本配对数据输入到所述跨语言编码器中，以得到所述文本配对数据中两个文本各自对应的文本特征；

将所述文本非配对数据输入到所述跨语言编码器中，以得到所述文本非配对数据中两个文本各自对应的文本特征；

根据所述文本配对数据中两个文本各自对应的文本特征，确定所文本配对数据中两个文本之间的第三距离，并根据所述文本非配对数据中两个文本各自对应的文本特征，确定所文本非配对数据中两个文本之间的第四距离；

根据所述第三距离和所述第四距离，对所述跨语言跨模态模型进行预训练。

3.根据权利要求1所述的方法，其中，所述跨语言跨模态模型还包括跨语言跨模态编码器，所述训练数据还包括：所述图文配对数据对应的第一实际标签，所述第一实际标签用于表示所述图文配对数据中的图像和文本是配对的，所述方法还包括：

将所述第一图像特征和所述第一文本特征输入到所述跨语言跨模态编码器中，以得到所述图文配对数据的第一融合特征；

根据所述第一融合特征，确定所述图文配对数据的第一预测标签；

根据所述第一预测标签和所述第一实际标签，对所述跨语言跨模态编码器进行预训练。

4.根据权利要求1所述的方法，其中，所述跨语言跨模态模型还包括跨语言跨模态编码器，所述训练数据还包括：所述图文非配对数据对应的第二实际标签，所述第二实际标签用于表示所述图文非配对数据中的图像和文本是非配对的，所述方法还包括：

将所述第二图像特征和所述第二文本特征输入到所述跨语言跨模态编码器中，以得到所述图文配对数据的第二融合特征；

根据所述第二融合特征，确定所述图文非配对数据的第二预测标签；

根据所述第二预测标签和所述第二实际标签，对所述跨语言跨模态模型进行预训练。