[发明专利]一种基于Transformer的细粒度跨模态图文检索的模型

摘要

本发明公开了一种基于Transformer的细粒度跨模态图文检索的模型，包括具体步骤如下，使用FasterRCNN提取图像特征，使用BERT提取文本特征，使用一堆TransformerEncoder层构建的，既用于视觉数据管道，也用于文本数据管道，TransformerEncoder以实体的序列或集合作为输入，它可以对这些实体进行推理，而不考虑它们的内在性质。本发明通过为了在将视觉和文本数据通道很好地分开，在图像和句子的底层成分，即图像区域和单词之间进行细粒度匹配，仅在最终比对阶段合并来自两个域的信息，保证了这两个通道的信息丰富性，有能够分别推理图像和文本中元素之间的细粒度关系的图文检索模型，可以进一步降低网络复杂度，这对整个体系结构的稳定性和泛化能力同样具有重要的意义。