[发明专利]图像文本检索模型的建模方法

摘要

本申请实施例提供了一种图像文本检索模型的建模方法，包括以下步骤：基于掩码语言模型(MLM)生成合成负样本句；使用检索到的负样本和合成负样本句来训练图像文本配对(IRTM、ISTM)；通过单词辨别任务WoC和单词校正任务WoD来对合成负样本与正样本句的区别进行训练。本申请实施例提出了一种基于生成负样本句的方法来构建负样本，以提高图文检索模型的训练效率。为了充分利用合成负样本句，本申请还提出了两个训练任务，单词辨别任务和单词校正任务，以结合细粒度的监督信号来增强多模态局部对应建模。本申请实施例构建出的模型在两个公共数据集MS‑COCO和Flickr30K上均达到了最先进的性能。