[发明专利]一种基于Transformer的细粒度跨模态图文检索的模型

权利要求书

1.一种基于Transformer的细粒度跨模态图文检索的模型，其特征在于，所述具体步骤如下：

使用Faster RCNN提取图像特征，使用BERT提取文本特征，使用一堆TransformerEncoder层构建的，既用于视觉数据管道，也用于文本数据管道，Transformer Encoder以实体的序列或集合作为输入，它可以对这些实体进行推理，而不考虑它们的内在性质，将图像中的显著区域视为视觉实体，将出现的单词视为文本实体，通过汇集区域词的相似度矩阵得到最终的图文的相似度得分。

2.根据权利要求1所述的一种基于Transformer的细粒度跨模态图文检索的模型，其特征在于，所述文本处理是使用BERT来提取词嵌入，BERT已经使用多层转换器编码器来处理句子中的单词，并通过同样强大的自我注意机制来捕获它们的功能关系，BERT嵌入在一些一般的自然语言处理任务上进行了训练，如句子预测或句子分类，并在许多下游自然语言任务中展示了最先进的结果，与word2vec不同，BERT嵌入捕获了每个单词出现的上下文，因此，每个嵌入的单词都带有关于周围上下文的信息，这些信息可能会因文本而异。