[发明专利]一种层次化对齐的图像文本检索方法

说明书

本发明公开了一种层次化对齐的图像文本检索方法，采用了统一的Transformer架构来提取与学习图像与文本特征，并且引入一个分层对齐策略，在Transformer的不同层次捕捉更多，更丰富的语义信息。因此图像文本均采用统一的Transformer模型，且层次性充分的利用了Transformer结构所得到的模态特征，所以最终通过统一的模型架构得到了兼容性更好的表征，完成了更好的语义对齐，实现图像文本检索。

技术领域

本发明属于跨模态检索技术领域，更为具体地讲，是一种层次化对齐的图像文本检索方法。

背景技术

跨模态检索任务是多模态领域的基本任务和常见任务之一，其目标是通过一个模态的样本能够准确检索到另一个模态所对应的样本。这里研究最重要且最普遍的两种模态，即视觉信息与文本数据间的检索任务。

现有的跨模态检索方法，可以分为全局对齐方法与局部对齐方法。全局对齐方法是通过将图像与文本整体映射到一个统一的语义空间以进行度量来探索其相关性。通常使用CNN(Convolutional Neural Network)卷积神经网络来进行图像特征的提取，RNN(Recurrent Neural Network)循环神经网络来进行文本特征的提取。但是这样的方法忽略了图像区域与文本单词间的局部线索。因此，局部对齐方法被提出，其通过提取图像文本的局部特征来进行建模，以完成图像文本间的对齐。通常使用Faster RCNN(快速区域卷积神经网络)进行图像区域特征的提取，Bi-GRU(Bi-Gate Recurrent Unit)双向门控循环单元等RNN进行文本单词的提取。尽管局部对齐的跨模态检索方法能够有效的利用图像区域与文本单词间的细微线索，进一步完成更好的图像文本间的对齐。但无论是局部对齐，还是全局对齐，其在进行特征提取时，对于不同模态所采用的架构都是不相同的。即对于图像数据，采用具有多尺度，局部性和平移不变性等与图像相关的归纳偏置的卷积神经网络来进行特征信息的提取，而对于文本数据，则采用具有时序性等与语言相关的归纳偏置的循环神经网络来进行特征信息的提取。这样的特征提取方式虽然各自符合其所对应模态信息的特性，但在跨模态检索任务中，其关键在于对于公共空间的建模与度量。因此，不同的模型架构会造成两点不足，(1)不同的架构可能会引起不同的语义分布空间，使得最终学习到的表征在语义映射和相似性测量中不太兼容。(2)通过不同架构进行特征提取，无法进行全方面的，从浅入深的提取所需信息。捕捉不到不同语义层次的对应关系。

发明内容

本发明的目的在于克服现有技术的不足，提供一种层次化对齐的图像文本检索方法。具体为采用一个统一的结构，层次性充分的利用了Transformer(深度自注意力转换模型)结构所得到的模态特征，从而得到了兼容性更好的表征，完成了更好的语义对齐。

为实现上述发明目的，本发明一种层次化对齐的图像文本检索方法，其特征在于，包括以下步骤：

(1)、建立检索库；

选取一张待检索图像I，将包含有图像I匹配文本的所有文本T_t组成文本集合，最后将图像I及对应文本集合作为检索库，其中，t表示第t个文本；

(2)、提取图像文本特征；

(2.1)、提取图像特征；

将12个Transformer模块组成Swin-Transformer(移动窗口Transformer)模型，12个Transformer模块划分为低、中、高3个阶段，Swin-Transformer模型预训练完成后对图像I进行图像区域的特征提取，得到低、中、高3个阶段的特征输出图，分别记为V^low,V^middle,V^high，从而将分层特征V_h表示为：

V_h＝{V^low,V^middle,V^high}