[发明专利]视觉语言任务处理系统、训练方法、装置、设备及介质

权利要求书

1.一种视觉语言任务处理系统，其特征在于，包括：目标编码器、文本编码器和文本解码器，所述目标编码器和所述文本编码器分别与所述文本解码器相连接，其中：

所述目标编码器用于输入预定图像；对所述预定图像进行编码处理获得目标表示序列；输出所述目标表示序列；

所述文本编码器用于输入文本描述；对所述文本描述进行编码处理获得单词表示序列；输出所述单词表示序列；

所述文本解码器用于输入所述目标表示序列和所述单词表示序列；对所述目标表示序列和所述单词表示序列进行解码处理获得多模态表示序列；输出所述多模态表示序列，所述多模态表示序列用于处理视觉语言任务。

2.一种视觉语言任务系统的训练方法，其特征在于，包括：

所述视觉语言任务系统包括目标编码器、文本编码器和文本解码器，所述目标编码器和所述文本编码器分别与所述文本解码器相连接；

获取预训练图像、与所述预训练图像对应的文本描述和掩码训练图像，所述掩码训练图像通过对所述预训练图像进行遮盖处理获得；

将所述掩码训练图像输入所述目标编码器，通过所述目标编码器对所述掩码训练图像进行编码处理获得掩码目标表示序列；

将所述文本描述输入所述文本编码器，通过所述文本编码器对所述文本描述进行编码处理获得单词表示序列；

通过所述文本解码器对所述掩码目标表示序列和所述单词表示序列进行解码处理获得多模态表示序列；

基于所述多模态表示序列和所述预训练图像对所述目标编码器、所述文本编码器和所述文本解码器进行训练，获得预训练后的目标编码器、预训练后的文本编码器和预训练后的文本解码器以处理视觉语言任务。

3.根据权利要求2所述的方法，其特征在于，还包括：对所述文本描述进行遮盖处理获得掩码文本描述；

将所述掩码文本描述输入文本编码器，通过所述文本编码器对所述掩码文本描述进行编码处理获得掩码单词表示序列；

基于所述多模态表示序列和所述预训练图像对所述目标编码器、所述文本编码器和所述文本解码器进行训练包括：

将所述多模态表示序列通过分类器层对所述掩码训练图像进行预测，获得预测目标分类；

根据所述预测目标分类和所述预训练图像获得掩码目标分类损失；

将所述多模态表示序列通过短语生成器层对所述掩码训练图像进行预测，获得预测短语描述；

根据所述预测短语描述和所述预训练图像获得掩码短语生成损失；

通过所述文本解码器根据所述掩码目标表示序列和所述掩码单词表示序列对所述掩码训练图像进行预测，获得预测单词序列；

根据所述文本描述和所述预测单词序列获得掩码句子生成损失；

根据所述掩码目标分类损失、所述掩码短语生成损失和所述掩码句子生成损失对所述目标编码器、所述文本编码器和所述文本解码器进行训练。

4.根据权利要求3所述的方法，其特征在于，还包括：

将所述预训练图像输入所述目标编码器，通过所述目标编码器对所述预训练图像进行编码处理获得目标表示序列；

将所述目标表示序列与所述单词表示序列进行匹配，获得图文匹配损失；

所述根据所述掩码目标分类损失、所述掩码短语生成损失和所述掩码句子生成损失对所述目标编码器、所述文本编码器和所述文本解码器进行训练包括：

根据所述掩码目标分类损失、所述掩码短语生成损失、所述掩码句子生成损失和所述图文匹配损失对所述目标编码器、所述文本编码器和所述文本解码器进行训练。

5.根据权利要求3所述的方法，其特征在于，所述根据所述预测目标分类和所述预训练图像获得掩码目标分类损失包括：

对所述预训练图像进行特征检测获得真实目标分类；

对所述预测目标分类和所述真实目标分类的差异进行度量获得所述掩码目标分类损失。

6.根据权利要求3所述的方法，其特征在于，所述根据所述预测短语描述和所述预训练图像获得掩码短语生成损失包括：

将所述预训练图像通过所述短语生成器层进行预测，获得真实短语描述；

根据所述预测短语描述和所述真实短语描述获得所述掩码短语生成损失。