[发明专利]视觉语言模型获得及任务处理方法、装置、设备及介质

权利要求书

1.一种视觉语言模型获得方法，其特征在于，包括：

获取预训练图像和与所述预训练图像对应的文本描述；

将所述文本描述进行遮盖处理获得掩码文本描述；

获取初始视觉语言模型；

将所述预训练图像和所述掩码文本描述输入所述初始视觉语言模型以获得预测文本描述；

基于所述预训练图像、所述文本描述、所述掩码文本描述和所述预测文本描述通过所述初始视觉语言模型执行多个预训练任务以训练所述初始视觉语言模型，获得预训练后的视觉语言模型以处理图像文本任务。

2.根据权利要求1所述的方法，其特征在于，所述将所述预训练图像和所述掩码文本描述输入所述初始视觉语言模型以获得预测文本描述包括：

将所述预训练图像和所述掩码文本描述输入所述初始视觉语言模型，获得所述初始视觉语言模型输出的预测文本描述分布；

从所述预测文本描述分布中采样获得所述预测文本描述。

3.根据权利要求2所述的方法，其特征在于，所述初始视觉语言模型包括初始句子编码器、初始目标编码器、初始跨模态编码器和初始跨模态解码器；

所述多个预训练任务包括掩码语言建模任务和掩码句子生成任务；

所述预测文本描述分布包括第一编码器预测文本描述分布和第一解码器预测文本描述分布；

所述预测文本描述包括编码器预测文本描述和解码器预测文本描述；

所述将所述预训练图像和所述掩码文本描述输入所述初始视觉语言模型，获得所述初始视觉语言模型输出的预测文本描述分布包括：

将所述预训练图像输入所述初始目标编码器获得第一目标编码器输出；

将所述掩码文本描述输入所述初始句子编码器获得第一句子编码器输出；

将所述第一目标编码器输出与所述第一句子编码器输出通过所述初始跨模态编码器执行所述掩码语言建模任务，获得所述第一编码器预测文本描述分布；

将所述第一目标编码器输出与所述第一句子编码器输出通过所述初始跨模态解码器执行所述掩码句子生成任务，获得所述第一解码器预测文本描述分布；

所述从所述预测文本描述分布中采样获得所述预测文本描述包括：

从所述第一编码器预测文本描述分布中采样获得所述编码器预测文本描述；

从所述第一解码器预测文本描述分布中采样获得所述解码器预测文本描述。

4.根据权利要求3所述的方法，其特征在于，还包括：将所述预训练图像进行遮盖处理获得掩码预训练图像；

所述多个预训练任务还包括掩码目标分类任务和图像句子匹配任务；

所述基于所述预训练图像、所述文本描述、所述掩码文本描述和所述预测文本描述通过所述初始视觉语言模型执行多个预训练任务以训练所述初始视觉语言模型包括：

以所述文本描述为标签基于所述第一编码器预测文本描述分布获得第一掩码语言建模损失；

将所述文本描述输入所述初始句子编码器获得第二句子编码器输出；

将所述掩码预训练图像输入所述初始目标编码器获得第二目标编码器输出；

将所述第二目标编码器输出与所述第二句子编码器输出通过所述初始跨模态编码器执行所述掩码目标分类任务，获得第一编码器预测目标分布；

以所述预训练图像为标签基于所述第一编码器预测目标分布获得第一掩码目标分类损失；

根据所述第二句子编码器输出和所述第一目标编码器输出执行所述图像句子匹配任务，获得图像句子匹配损失；

以所述文本描述为标签基于所述第一解码器预测文本描述分布获得第一掩码句子生成损失；

基于所述编码器预测文本描述、所述解码器预测文本描述和所述预训练图像通过所述初始句子编码器、所述初始目标编码器、所述初始跨模态编码器和所述初始跨模态解码器获得第二阶段任务损失；

基于所述第一掩码语言建模损失、所述第一掩码目标分类损失、所述图像句子匹配损失、所述第一掩码句子生成损失和所述第二阶段任务损失获得预训练总损失函数；

利用所述预训练总损失函数训练所述初始句子编码器、所述初始目标编码器、所述初始跨模态编码器和所述初始跨模态解码器。