[发明专利]基于注意机制的陆战场图像-文本跨模态检索方法及其系统

权利要求书

1.一种基于注意机制的陆战场图像-文本跨模态检索方法，其特征在于，包括以下步骤：

S1：图像特征提取：将注意力模块嵌入残差结构，提取图像的特征表示；再将图像特征向量分别输入两组全连接层-激活层结构，获得图像的预测标签和预测哈希编码；

S2：文本特征提取：搭建一个深度神经网络，利用多尺度结构提取文本的特征表示，再将文本特征向量分别输入两组全连接层-激活层结构，获得文本的预测标签和预测哈希编码；

S3：自监督标签特征生成：通过两个全连接层将图像和文本的标记数据转化为特征向量作为图像和文本特征的监督信息；将生成的特征向量分别输入两组全连接层-激活层结构，获得自监督标签和自监督哈希编码；

S4：对抗学习网络判别：构造两个具有相同结构的深度神经网络分别作为文本/标签特征判别器、图像/标签特征判别器，将图像或文本网络输出特征、自监督标签特征作为判别器输入进行对抗学习，保证模态间特征的一致性；

S5：模型训练：对图像特征提取网络、文本特征提取网络、自监督标签特征生成网络、对抗学习判别网络的模型进行训练学习。

2.根据权利要求1所述的基于注意力机制的路战场图像-文本跨模态检索方法，其特征在于，步骤S1的具体步骤包括：

S101：将空间注意模块与通道注意模块串联后嵌入深度残差网络的每个残差块结构之间，搭建一个新的深度残差网络；

S102：将所述深度残差网络输出的特征向量经过一个全连接层和非线性激活层转换为图像特征向量；

S103：最后将图像特征向量分别输入两组全连接层-激活层结构，获得图像的预测标签和预测哈希编码。

3.根据权利要求1所述的基于注意力机制的路战场图像-文本跨模态检索方法，其特征在于，所述深度残差网络的结构依次包括：

卷积层、BN归一化层、Relu激活层、最大池化层、第一特征提取单元{(残差块1(RESBLOCK1)+注意力模块(CBAM))×3}、第二特征提取单元{(残差块(RESBLOCK2)+注意力模块(CBAM))×4}、第三特征提取单元{(残差块3(RESBLOCK3)+注意力模块(CBAM))×6}、第四特征提取单元{(残差块4(RESBLOCK4)+注意力模块(CBAM))×3}、全连接层、Relu激活层。

4.根据权利要求1所述的基于注意力机制的路战场图像-文本跨模态检索方法，其特征在于，所述自监督标签特征生成网络的结构依次包括：

全连接层、Relu激活层、BN归一化层、全连接层、Relu激活层。

5.根据权利要求1所述的基于注意力机制的路战场图像-文本跨模态检索方法，其特征在于，所述图像/标签判别网络和文本/标签判别网络的结构相同，依次包括：

全连接层、Relu激活层、全连接层、Relu激活层、全连接层。

6.根据权利要求5所述的基于注意力机制的路战场图像-文本跨模态检索方法，其特征在于，所述图像/标签判别网络的输入为图像特征向量或自监督标签特征，输出为图像/标签判别。

7.根据权利要求5所述的基于注意力机制的路战场图像-文本跨模态检索方法，其特征在于，所述文本/标签判别网络的输入为文本特征向量或自监督标签特征，输出为文本/标签判别。

8.根据权利要求1所述的基于注意力机制的路战场图像-文本跨模态检索方法，其特征在于，模型学习的损失函数包含四个部分：一是图像/文本特征与自监督特征的损失；二是图像/文本预测标签与自监督标签的损失；三是图像/文本预测哈希编码与自监督哈希编码的损失；四是图像/标签、文本/标签两个对抗学习网络的判别损失。