[发明专利]视觉语言任务处理系统、训练方法、装置、设备及介质

说明书

本公开提供一种视觉语言任务处理系统、处理视觉语言任务的方法、装置、设备及存储介质，涉及人工智能技术领域。该系统包括：目标编码器、文本编码器和文本解码器，目标编码器和文本编码器分别与文本解码器相连接，其中：目标编码器用于输入预定图像；对预定图像进行编码处理获得目标表示序列；输出目标表示序列；文本编码器用于输入文本描述；对文本描述进行编码处理获得单词表示序列；输出单词表示序列；文本解码器用于输入目标表示序列和单词表示序列；对目标表示序列和单词表示序列进行解码处理获得多模态表示序列；输出多模态表示序列，多模态表示序列用于处理视觉语言任务。该系统可实现一定程度上提高处理视觉语言任务的准确性。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种视觉语言任务处理系统、视觉语言任务系统的训练方法、装置、设备及可读存储介质。

背景技术

视觉和语言是人工智能的两项基本能力，两者之间的交互支持一系列独特的模拟人类大脑处理信息的能力，如视觉语言(Vision-Language，VL)理解(例如视觉问答)和VL生成(例如图像描述)。VL技术在机器人视觉、帮助视障人士等方面具有良好的应用前景。

受自然语言预训练技术的发展的启发，对VL模型进行预训练以提高模型处理VL任务的性能成为发展趋势。对VL模型进行预训练可将从资源丰富的预训练任务学习到的多模态知识迁移到对资源有限的下游任务的处理中，提高VL模型处理下游VL任务的性能。相关技术中采用由共享的多层变换器(Transformer)网络构成的统一的VL编码器-解码器模型，对其进行预训练以使其既可处理视觉语言理解任务，又可处理视觉语言生成任务，预训练后的模型处理VL任务的准确度较低，模型精度较差。

如上所述，如何提高视觉语言模型处理任务的准确度成为亟待解决的问题。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种视觉语言任务处理系统、处理视觉语言任务的方法、装置、设备及可读存储介质，至少在一定程度上提高视觉语言模型处理任务的准确度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种视觉语言任务处理系统，包括：目标编码器、文本编码器和文本解码器，所述目标编码器和所述文本编码器分别与所述文本解码器相连接，其中：所述目标编码器用于输入预定图像；对所述预定图像进行编码处理获得目标表示序列；输出所述目标表示序列；所述文本编码器用于输入文本描述；对所述文本描述进行编码处理获得单词表示序列；输出所述单词表示序列；所述文本解码器用于输入所述目标表示序列和所述单词表示序列；对所述目标表示序列和所述单词表示序列进行解码处理获得多模态表示序列；输出所述多模态表示序列，所述多模态表示序列用于处理视觉语言任务。

根据本公开的另一方面，提供一种视觉语言任务系统的训练方法，包括：所述视觉语言任务系统包括目标编码器、文本编码器和文本解码器，所述目标编码器和所述文本编码器分别与所述文本解码器相连接；获取预训练图像、与所述预训练图像对应的文本描述和掩码训练图像，所述掩码训练图像通过对所述预训练图像进行遮盖处理获得；将所述掩码训练图像输入所述目标编码器，通过所述目标编码器对所述掩码训练图像进行编码处理获得掩码目标表示序列；将所述文本描述输入所述文本编码器，通过所述文本编码器对所述文本描述进行编码处理获得单词表示序列；通过所述文本解码器对所述掩码目标表示序列和所述单词表示序列进行解码处理获得多模态表示序列；基于所述多模态表示序列和所述预训练图像对所述目标编码器、所述文本编码器和所述文本解码器进行训练，获得预训练后的目标编码器、预训练后的文本编码器和预训练后的文本解码器以处理视觉语言任务。