[发明专利]视觉语言模型获得及任务处理方法、装置、设备及介质

说明书

本公开提供一种视觉语言模型获得方法、视觉语言任务处理方法、装置、设备及存储介质，涉及人工智能技术领域。该方法包括：获取预训练图像和与所述预训练图像对应的文本描述；将所述文本描述进行遮盖处理获得掩码文本描述；获取初始视觉语言模型；将所述预训练图像和所述掩码文本描述输入所述初始视觉语言模型以获得预测文本描述；基于所述预训练图像、所述文本描述、所述掩码文本描述和所述预测文本描述通过所述初始视觉语言模型执行多个预训练任务以训练所述初始视觉语言模型，获得预训练后的视觉语言模型以处理图像文本任务。该方法实现了一定程度上提高训练后的视觉语言模型处理任务的准确度。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种视觉语言模型 获得方法、视觉语言任务处理方法、装置、设备及可读存储介质。

背景技术

视觉和语言是人工智能的两项基本能力，两者之间的交互支持一系 列独特的模拟人类大脑处理信息的能力，如视觉语言(Vision-Language， VL)理解(例如视觉问答)和VL生成(例如图像描述)。VL技术在机 器人视觉、帮助视障人士等方面具有良好的应用前景。

受自然语言预训练技术的发展的启发，对VL模型进行预训练以提高 模型处理VL任务的性能成为发展趋势。相关技术中用掩码(MASK)标 记替换某些输入的图像/单词标记作为VL模型输入的训练数据，然后以 VL模型可恢复被替换的输入为目标对VL模型进行预训练。但由于在为 处理具体下游任务而对VL模型进行微调时不设计人工进行掩码的输入，预训练过程与微调过程的差异较大，导致最终获得的VL模型的精度较 差。

如上所述，如何提高训练后的VL模型处理任务的准确度成为亟待解 决的问题。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的 理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的 信息。

发明内容

本公开的目的在于提供一种视觉语言模型获得方法、装置、设备及可 读存储介质，至少在一定程度上克服由于相关技术预训练过程与微调过程 的差异导致训练后的VL模型处理任务的准确度较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分 地通过本公开的实践而习得。

根据本公开的一方面，提供一种视觉语言模型获得方法，包括：获 取预训练图像和与所述预训练图像对应的文本描述；将所述文本描述进 行遮盖处理获得掩码文本描述；获取初始视觉语言模型；将所述预训练 图像和所述掩码文本描述输入所述初始视觉语言模型以获得预测文本描 述；基于所述预训练图像、所述文本描述、所述掩码文本描述和所述预 测文本描述通过所述初始视觉语言模型执行多个预训练任务以训练所述 初始视觉语言模型，获得预训练后的视觉语言模型以处理图像文本任 务。

根据本公开的一实施例，所述将所述预训练图像和所述掩码文本描 述输入所述初始视觉语言模型以获得预测文本描述包括：将所述预训练 图像和所述掩码文本描述输入所述初始视觉语言模型，获得所述初始视 觉语言模型输出的预测文本描述分布；从所述预测文本描述分布中采样 获得所述预测文本描述。